首次发布亚马逊云科技生成式AI技术堆栈，re:Invent大会重磅发布

 亚马逊云科技总是在不断重构，以推动创新，而今年re:Invent的主角毫无疑问是生成式AI。这从亚马逊云科技副总裁、首席布道师Jeff Barr在re:Invent 2023之前就迫不及待地写了一篇关于PartyRock的体验试玩教程即可窥见一斑。

 事实也确实如此。在Las Vegas，不管是个人开发者，还是企业架构师，亦或是大学教授，无论是来自传统行业还是创新公司，人人都在谈论亚马逊云科技通过重构生成式AI而即将到来的创新。

 首次发布亚马逊云科技生成式AI技术堆栈

 在re:Invent 2023最新发布中，亚马逊云科技首次发布了生成式AI技术堆栈，包括底层负责训练和推理的基础设施层，中间微调模型需求的工具服务层，以及上层构建生成式AI应用层三个重要层级。通过对这三个层级的不断重构，亚马逊云科技能够为用户提供更具性价比和安全性的技术与服务。

 “我们独特的生成式人工智能堆栈为客户提供了比其他云更大的优势。”对此，亚马逊云科技CEO Adam Selipsky表示，“并非所有竞争对手都选择在每一层进行创新”。

 自研+合作，基础设施层的持续创新

 生成式AI并不能单独创造价值，它需要硬件的支持。高性价比的基础设施是生成式AI应用构建的关键。Adam Selipsky曾在采访中强调了在这一领域创新的重要性，“新一代人工智能工作负载的计算密集程度非常高，因此性价比绝对至关重要。”

  新一代Amazon Trainium2芯片发布

 此前，亚马逊云科技已通过多代Graviton、Trainium和Inferentia自研芯片证明了在这一领域创新的价值。今年，亚马逊云科技如约带来了全新一代的Amazon Graviton4和Amazon Trainium2芯片。其中，Amazon Trainium2芯片专为基础模型的高性能训练打造，其性能较上一代提升多达4倍，内存提升3倍，能效提升多达2倍。

 Trainium2实例能在EC2 UltraClusters中扩展多达100,000个芯片，提供高达65 exaflops的算力，可在极短的时间训练基础模型（FMs）和大语言模型（LLMs），并支持按需获取性能。

 亚马逊云科技方面透露，有了这一级别的规模，训练完成一个具有3千亿参数的大语言模型将从几个月缩短至几周。明星生成式AI企业Anthropic正计划使用Trainium2训练下一代复杂Claude模型。

  首家推出NVIDIA GH200 NVL32实例

 备受关注的还有与NVIDIA的合作。NVIDIA创始人、CEO Jensen Huang现身会场，与Adam Selipsky共同宣布双方扩大战略合作，将联合推出先进的基础设施、软件及服务，推动客户在生成式AI的创新。合作内容包括：

• 亚马逊云科技推出首款结合NVIDIA Grace Hopper Superchip与Amazon UltraCluster扩展功能的云AI超级计算机；

• NVIDIA DGX Cloud率先配备NVIDIA GH200 NVL32，并首次在亚马逊云科技上提供此AI训练即服务；

• 英伟达和亚马逊云科技在Project Ceiba上合作，打造全球最快的GPU驱动AI超级计算机以及最新的NVIDIA DGX Cloud超级计算机，用于英伟达的AI研发以及自研模型开发服务；

• 配置NVIDIA GH200、H200、L40S以及L4 GPU等芯片的全新Amazon EC2实例，大幅提升生成式AI、HPC高性能计算、设计以及模拟类工作负载的性能；

• 在亚马逊科技上运行的英伟达软件，包括NeMo LLM框架、NeMo Retriever以及BioNeMo，加速自研模型、语义检索、新药研发等应用的生成式AI发展。

 这意味着，亚马逊云科技将成为第一家在云端配备英伟达GH200 Grace Hopper超级芯片的云厂商，并将在其平台上推出英伟达DGX Cloud NVIDIA AI“训练即服务”。此外，双方还将基于Project Ceiba合作，构建全球最快的GPU驱动的AI超级计算机，以及更多基于英伟达芯片的云实例。

 Amazon Bedrock全新功能发布，工具服务层再进化

 作为基于Amazon Bedrock的可共享生成式AI应用程序构建游乐场，PartyRock只是re:Invent的开胃前菜。这背后“人人可以构建”的理念才是让所有开发者为之兴奋的关键。

 这一精神的集大成者Amazon Bedrock，本次除Amazon Titan Family，还上线了Anthropic Claude 2.1，Meta Llama 2 70B和Stability AI Stable Diffusion XL 1.0等几乎所有业界领先模型的最新版本，以及构建生成式AI所以需要的广泛功能。

 亚马逊云科技数据和人工智能副总裁Swami Sivasubramanian博士如此概括Amazon Bedrock的创新价值，“各行各业都在将生成式AI融入各自的业务，但没有一个大模型能够适合所有的场景。利用Amazon Bedrock，客户可选择任何合适的模型来进行快速创新。”

 Amazon Bedrock迎来两大功能更新

 在re:Invent 2023现场，Amazon Bedrock带来了全面更新，包括模型的微调、检索增强生成（RAG）以及基于Amazon Titan大模型的预训练，以及正式推出了Agents和Guardrails两大功能，进一步降低了生成式AI应用的构建门槛。

 在便捷程度上，开发者使用Agents功能，无需设计提示、管理会话上下文或手动编排系统，仅需提供自然语言指令即可轻松便捷地让生成式AI应用程序跨公司系统和数据源执行类似处理销售订单这样的多步骤任务。

 在安全体验上，为提供所问即所答的用户体验，并更安全地使用生成式AI技术，开发人员可以借助Guardrails功能为所有应用程序提供跨基础模型的一致的AI安全级别，以一种简化的方式在生成AI应用程序中强化关键策略和规则，实施跨模型的保护措施。这以功能并不局限于亚马逊云科技的Titan模型，还适用于Bedrock上的其他模型。

 亚马逊云科技负责任AI伦理高级实践经理Diya Wynn在接受采访时指出，“安全性至关重要。当我们考虑到人工智能时，负责任的AI应该是设计之初就要考虑的。如果我们等到事后再考虑这些因素，可能会导致一些灾难性的影响。”

 Amazon Bedrock从设计之初就考虑了负责任。客户数据在传输过程中和静态时都经过加密，因此所有有价值的客户数据都是始终安全且私密的，不会被亚马逊云科技及第三方提供商用于训练基础模型。

 目前，Amazon Bedrock已服务了上万用户，Salesforce、MongoDB等企业已经率先使用Amazon Bedrock应用生成式AI。

 Amazon Q发布，完善应用层版图

 Amazon Q是re:Invent 2023上最激动人心的发布之一。和ChatGPT这样面向C端的通用聊天机器人不同，Amazon Q专门针对办公场景，可为员工提供信息和建议，帮助他们简化任务、加速决策和解决问题，从而推动企业创新。这不仅代表着亚马逊云科技正式加入聊天机器人的竞争，也拉开了企业级生成式AI时代的序幕。

 Amazon Q 改变了开发者和IT人员在亚马逊云科技上构建、部署和运维应用程序和工作负载的方式。客户可以通过亚马逊云科技管理控制台、文档页面、IDE、Slack或其他第三方对话应用程序的聊天界面进行访问，且业务内容永远不会被使用来训练底层模型。对此，Swami Sivasubramanian博士表示，“Amazon Q是我们生成式AI堆栈的应用层的强大补充，为每个组织打开了新的可能性。”

 Amazon Q展现了高度的灵活性。当前，开发者为跟上生成式AI技术迭代的速度，快速设计和交付新功能，管理应用程序和工作负载端到端的生命周期，并在维护既有产品和构建新功能之间平衡优先级，往往需要投入大量的精力，做大量的工作。Amazon Q完全支持根据客户业务定制，以帮助企业级开发者专注于开发本身。

 Adam Selipsky现场展示了一段高性能视频编码与转码应用示例。在被问及哪种EC2实例最适合当前用例时，Amazon Q列出了一份涵盖性能与成本因素的清单。

 Amazon Q还具有出色的代码转换能力。此前由5名亚马逊开发者组成的团队使用Amazon Q代码转换，将1,000个生产应用程序从Java 8升级到Java17仅用了两天，每个应用程序升级的平均时间不足10分钟。

 此外，Amazon Q还可以与Amazon CodeCatalyst结合，在受支持的IDE当中，为用户代码生成测试，借此衡量其质量水平，加速功能开发。

 不过，受限于合规政策，尽管他表示，“我坚信这将是一场生产力层面的变革，希望来自不同行业、从事不同岗位的人们都能从Amazon Q身上获益”，但Amazon Q进入中国仍需要时间。

 re:Invent 2023落下帷幕，生成式AI单点竞争的时代也已经结束。随着亚马逊云科技生成式AI技术堆栈图景的揭开，一个AI使人人受益的时代即将到来。