昨夜，亚马逊云科技发布大模型工厂，全球上百个顶级模型API自由调用

这几天，云计算领域的顶流大哥——亚马逊云科技，正在大西洋彼岸的美国拉斯维加斯召开云计算领域的春晚 re:Invent 大会，大招是一个接一个地放。我看的是一愣一愣的。

因为它不止是云计算，还是一场生成式 AI 的盛宴。

先是前天半夜，亚马逊总裁兼 CEO Andy Jassy 官宣了亚马逊自研的 Nova 系列多模态大模型，一口气儿发布了共计 8 款（6 款已发布，2 款即将发布）大模型，全面涵盖了文本、视觉、语音等主流模态场景。

列给你们感受一下：

• Nova Micro：文生文模型，低延迟低成本

• Nova Lite：系列中最低成本快速处理图片、视频、文字输入的多模态模型

• Nova Pro：性能和成本达到平衡的多模态模型

• Nova Premier：系列中最强大的多模态模型，适用于复杂推理任务，模型蒸馏的最佳教师模型

• Nova Canvas：图片生成模型，内置安全控制

• Nova Reel：视频生成模型，现已支持生成 6 秒视频，2 分钟版即将推出

• Nova Speech-to-Speech：语音输入与生成模型（即将发布）

• Nova Any-to-Any：任意模态输入，任意模态输出（即将发布）

模型我们在放在后面聊，因为我想先跟你们安利一个我觉得更牛逼的东西——Amazon Bedrock，你可以理解成这是一个生成式 AI 时代的大模型工厂！

这里面汇集了众多全球一流的大模型，提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 、Mistral AI  和 Amazon 等 AI 公司的高性能基础模型。

但更牛逼的是，它这次直接超越模型工厂的概念，升级成了一个开放的大模型交易市场。

Amazon Bedrock Marketplace大模型交易市场发布

昨夜的发布会上，最让我印象深刻的就是亚马逊云科技人工智能与数据部门副总裁 Swami Sivasubramanian宣布的这个 Amazon  Bedrock Marketplace 大模型交易市场了。

简而言之，它就像一个"大模型超市"，汇集了来自各大供应商的 100 多个专业模型，开发者可以在统一的平台上便捷地发现、测试和使用这些模型。

自从人工智能行业迎来“寒武纪”物种大爆发后，AI 开发者们一方面兴奋狂欢，另一方面也会为接入、维护各家的 API 而头疼，包括不限于研究 API 接口文档、搭建测试环境、安装依赖、充值维护财务状态等。

而 Amazon Bedrock Marketplace 的推出，恰好完美地解决了这个痛点。

最关键的是，Amazon Bedrock Marketplace提供了统一的 API 接口，这意味着开发者不需要再为对接不同模型的 API 而烦恼。无论是 Anthropic、AI21、Cohere 还是其他供应商的模型，都可以通过同一套 API 来调用，大大简化了开发流程。

除此之外，Bedrock 还提供了完整的配套服务：

• 知识库支持，帮助开发者快速上手

• 安全护栏，确保模型使用符合规范

• 代理功能，优化模型调用效率

• 统一的安全和隐私保护机制

这种"一站式"的服务模式，让开发者可以将更多精力投入到业务本身的开发中，而不是在开发细节上耗费时间。对于想要快速验证和部署 AI 应用的团队来说，Amazon Bedrock Marketplace 着实很切痛点。

而本次发布会上，还让我很惊喜的是——

大火的 AI 视频生成模型 LumaAI、刚发布不久的 Stable Diffusion 3.5 文生图模型，以及一个强大的软件工程 AI “poolside” 也强势登陆了 Bedrock！

甚至，大会上，把 LumaAI 的 CEO 都请来了。

但这还没完，Bedrock 这一波还撺了一连串的升级，包括：

1. 模型蒸馏

2. 自动推理检查

3. 多 Agents 协作

4. Prompt caching

5. Prompt routing

6. 知识库升级：支持 GraphRAG、结构化数据检索等

7. 安全围栏 Guardrails

8. ....

这里重点讲前三个 feature。

先讲讲 Bedrock 上面的模型蒸馏，虽然知识蒸馏的技术是个老技术，但知识蒸馏在大模型时代显得弥足重要——那些通用能力强的超大模型往往又慢又贵，在真实的业务场景里常常满足不了成本和延迟要求。

而在 Bedrock 上，就可以傻瓜式的将大模型蒸馏成一个更快、更具成本效益的模型，经过蒸馏的模型速度最高提升 500%，成本最高降低 75%。如果叠加上平台上的延迟优化推理 Q、Prompt Caching 等技术，还能进一步优化推理延迟。

这里要画个重点，目前 Bedrock 已同时支持从 Antropic、Meta 和 Amazon 的模型发起蒸馏。

如果说蒸馏是为了“降本增效”，那么本次发布会上的 Automated Reasoning checks 这个新功能，则能够防止因大模型幻觉产生的事实性错误，提供纠正建议。

但凡做过大模型落地的小伙伴，一定知道幻觉这个事情是多么的痛！

你辛辛苦苦建立起来的用户信任，很可能在模型出几次幻觉后，用户就再也不信任它，进而流失掉了。

所以看到这个 feature，我只能说亚马逊云科技果然很懂客户的痛。

而除了蒸馏和 Automated Reasoning checks 功能外，这次还发布了一个叫 Multi-agent collaboration 的有趣 feature。

要说 2024 下半年什么最火？那当之无愧的是各种各样的 agent。面临复杂任务，靠单一大模型的单次处理是完不成的，亚马逊云科技这把也蹭了个 agent 热点，把构建、部署和编排多个 agent，协同处理复杂的多步骤任务的事儿给抽象成了 Bedrock 上面的产品功能。而且通过“点点点”就能直接完成复杂 action 序列的串联，快速搭建 agent 应用。

Amazon Nova表现同样不凡

作为云计算的一哥，亚马逊云科技过去在 AI 领域略显低调，但丝毫没影响其赶超 Claude、Gemini、GPT 顶流 LLM 的野心。从基准评测的榜单成绩来看，和同级别的明星模型相比，本次发布的 Nova 系列模型表现可以说很惊艳。

比如，

• 可以处理简单任务的超高性价比 Micro 模型，与 LLaMa 3.1 8B、Gemini 1.5 Flash-8B 比，表现都不错，更是以 210 tokens/s 的输出速度领先。

• 支持三种模态的低成本模型 Lite 模型，与同级别的 GPT-4o Mini 相比，17/19 项测试中持平或更好；与 Claude 3.5 Haiku 进行比较，10/12 项测试中持平或更好。

• 性能和成本均衡的 Pro 模型：与 GPT-4o 进行比较，17/20 个基准上相等或更好；与 Gemini 1.5 Pro 进行比较，16/21 项相等或更好；

Nova Micro、Nova Lite、Nova Pro、Nova Premier 这 4 款模型已经上架到亚马逊的「模型工厂」Amazon Bedrock 里，现在就能调用了。

在最关心的价格上，Micro、Lite 、 Pro 和Premier的价格比 Amazon Bedrock 上各个类别中的最强模型便宜了 75%！

当之无愧的性价比之王！

最后

想多扯几句。

Bedrock 的发布，意味着生成式 AI 应用的落地门槛被进一步打下来了。

尤其 Marketplace 的概念，更是一个双向的利好——专业的 AI 厂商可以快速连接到目标开发者，而开发者也可以打破信息壁垒，高效率找到目标模型。

虽然这不是技术更新，但这个事情本身我觉得是本次大会上的一大亮点，也是现在行业里的真·痛点。而 Marketplace 本身，也是一个上限非常高的商业模式。

整体上，我觉得亚马逊这次的 re:Invent 大会比去年的猛料更足，AI 味儿更浓。

在这场 AI 革命中，亚马逊正在用基础设施思维重塑 AI 产业链，而这或许才是真正的「降维打击」。

免责声明：*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。