亚马逊云科技利用基础设施加速生成式AI创新

关键字: [Amazon Bedrock, Infrastructure Acceleration, Genai Innovation, Foundation Models, Amazon Web Services Ai Infrastructure, Generative Ai Applications]

本文字数: 2900, 阅读完需: 14 分钟

导读

演讲者Suzanne Sedinger阐释了亚马逊云科技如何提供底层基础设施和服务,以支持生成式人工智能(GenAI)创新的发展。她探讨了亚马逊云科技提供的一系列硬件加速器,如Trranium、Inferentia和Graviton处理器,以及Amazon SageMaker和Amazon Bedrock等软件工具,用于构建和扩展针对特定业务需求量身定制的GenAI应用程序。该演讲重点介绍了亚马逊云科技基础设施如何为GenAI工作负载带来成本效益、性能、安全性和可持续性等优势,使跨行业的客户能够部署利用大型语言模型和其他基础模型的人工智能解决方案。

演讲精华

以下是小编为您整理的本次演讲的精华，共2600字，阅读时间大约是13分钟。

苏珊·塞廷格作为亚马逊云科技人工智能/机器学习产品营销总监,在开场致辞中热情欢迎与会者,并感谢大家参加本次活动,以了解更多关于生成式人工智能(GenAI)以及支撑众多创新的亚马逊云科技AI基础设施。

她解释了亚马逊云科技Trranium、亚马逊云科技Inferentia、亚马逊云科技Graviton Storage、EKS、Nitro Ultra Clusters和Amazon SageMaker如何为客户创建人工智能创新奠定了基础,例如更好的欺诈预防、2D和3D环境生成以及安全开发新的基因疗法。

塞廷格展望了一个未来,在那里所有员工都将依赖GenAI来更快地完成工作,每项任务都将变得不那么例行,而更加创新,每个应用程序都将提供更有用、更个性化和更吸引人的体验,而且都是安全和可靠的。为了实现这一未来,组织需要的不仅仅是一个强大的大型语言模型或聊天助手,还需要一整套能力来构建和扩展适合其需求和业务用例的GenAI应用程序,包括集成了GenAI工具的应用程序,以便快速体验和构建自己的GenAI应用程序,最重要的是,需要一个经济高效的基础设施,以及相应的安全控制和保护措施。

因此,她回顾了这些基础设施,即其可靠且经济高效的基础设施层,包括专门为人工智能设计的芯片,以及用于构建和运行基础模型的Amazon SageMaker等许多其他关键创新,这些都使数十万客户能够更快地推进人工智能发展。

塞廷格指出,如今人工智能几乎影响到所有行业,甚至一些意料之外的行业。她提到了海事安全行业如何从初创公司Windward的见解中获益,或者DoorDash最新订单是如何得到亚马逊云科技GenAI基础设施的支持。

各行业的企业都在利用人工智能(AI)在亚马逊云科技上实施新的解决方案。Evolutionary Scale正在使用AI模型生成前所未有的蛋白质抗体结构。Slack则在我们日常使用的各种应用程序中应用AI。

在自己的职业生涯中,Seitinger亲身体会到AI如何改变行业。他从智能城市和城市规划领域起步,并见证了像Inricks这样有趣的公司在城市交通方面的创新。

Seitinger邀请大家设身处地想象,当陷入交通阻塞时,人们会想知道为什么无法更快到达目的地,并且会想知道是否有人在解决这个问题。Inricks专门通过分析来自道路传感器和车辆的数据来管理交通。这使他们能够利用AI和数据,从新的角度了解人们在世界各地的出行方式,并帮助市民和政府。

Inricks利用AI分析基于其车辆和道路传感器数据的50PB数据集。他们推出了一款新的AI驱动产品AI Compass,建立在其亚马逊云科技数据基础之上。这款新产品帮助他们了解特定交通事故的根本原因,以确定是否存在潜在的模式或解决方案。Inricks是客户如何在各自领域内利用AI,让城市更宜居、更安全的绝佳范例。它也展示了在亚马逊云科技上建立坚实的数据基础有助于快速启动。

拥有50PB经GenAI丰富的数据,众所周知,这些数据必须受到保护。这就是亚马逊云科技的起点,它将工作负载的安全性和隐私性作为首要任务,全部由亚马逊云科技Nitro系统驱动,确保任何操作员都无法访问工作负载,这是一种经过独立验证的架构,亚马逊云科技已将其扩展到AI工作负载。

亚马逊云科技(AWS)设计了Amazon Web Services Nitro Enclaves,旨在帮助客户降低其最敏感的数据处理应用程序的攻击面。Enclaves为客户提供了一个隔离、加固和高度受限的环境,用于托管关键安全应用程序。亚马逊云科技还确保Nitro Enclaves包含软件的加密证明,因此客户可以确信只有经过授权的代码在运行。亚马逊云科技甚至采取了措施将Amazon Web Services Nitro Enclaves与Amazon Key Management Service集成,以确保只有Enclaves可以访问敏感材料。

Amazon Web Services Nitro系统是构建整个Amazon Web Services AI基础设施的底层平台,这意味着像Anthropic、MistrolAI、Hugging Face的爱好者和追随者社区,以及其他像Stability AI这样专注于其他模态的模型提供商,以及像TII这样构建Falcon模型系列的研究机构等客户,在整个基础设施中都能获得这些安全优势。

当前GenAI革命的核心是基础模型,包括大型语言模型,而许多主要的模型提供商都在亚马逊云科技上训练他们的模型。

Seitinger解释说,生成式AI创造并改善了一种构建内容和想法的全新方式,这与以前完全不同。这包括对话、故事、图像、视频、音乐,甚至新的软件。所有这些都是由在PB甚至EB级数据上训练的基础模型驱动的。这些数字之大,令人难以理解。

为了理解这些基础模型运行的规模,Seitinger举了一个例子。1PB相当于每天拍摄4000张照片。换句话说,《阿凡达》电影需要约1PB的数据来渲染所有图形。单个EB可以存储超过50亿部4K电影,或存储3000个国会图书馆。这些模型和所需数据的规模简直是巨大的。

这些大型基础模型构成了云端 GenAI 的基础,并在亚马逊云科技的基础设施之上构建。几乎所有这些发展都发生在云端,因为客户需要它所提供的多功能性,并希望能够利用所有资源。

组织希望能够在广泛的基础设施上训练模型,这也是亚马逊云科技提供最广泛的云加速器之一的原因。这包括 NVIDIA GPU,以及亚马逊云科技自身的 Inferentia、亚马逊云科技 Trranium 和亚马逊云科技 Graviton 处理器。

作为提供广泛加速器范围的一部分,亚马逊云科技正在与 NVIDIA 等合作伙伴合作,打造拥有大量 Grace Blackwell GPU 的大规模人工智能超级计算机之一。这台前所未有的超级计算机采用 NVIDIA 最新的液体冷却机架级可扩展 GBN200 NVLink 72 系统构建,可扩展至大量 Blackwell GPU,并将大量 NVIDIA Grace CPU 连接到 GPU。这台超级计算机能够处理高达 414 exaflops 的人工智能计算,大约是目前世界上最快超级计算机 Frontier 的 370 倍。它可以帮助我们解决一些最棘手的问题,从气候预测到创建数字孪生用于制造,并通过帮助农民管理作物和土壤来帮助解决粮食不安全问题。

接着,Seitinger 谈到了选择。亚马逊 EC2 内部开发的两个实例系列 Trranium 和 Inferentia 用于训练和部署先进的机器学习模型。它们由 Annapurna Labs 硅设计团队开发,该团队为云发明和开发下一代基础设施,包括前面提到的亚马逊云科技 Nitro 系统和基于 Arm 的 Graviton 处理器。

Annapurna Labs 还构建了 Elastic Fabric 网络适配器,支持高性能人工智能应用程序的节点间通信,以及本地即时 NVMe 存储等。

Trranium 和 Inferentia 芯片被称为 Neuron 核心,您可以在 EC2、SageMaker、EKS 和类似服务中使用它们来测试您的模型,优化性价比,这也将帮助您减少整体碳排放。

虽然Seitinger探讨了人工智能基础设施的诸多硬件组件,但如果缺乏合适的软件工具,这一切都无法运转。亚马逊云科技Neuron团队通过Neuron SDK发布了其主要框架。他们与Hugging Face建立了广泛的合作关系,助力从Optimum Neuron Cache运行预编译模型。

这些定制加速器正在为世界上一些令人兴奋的人工智能初创公司提供支持,例如NinjaTech。Seitinger深入探讨了这些令人难以置信的创新所能实现的可能性。

你是否曾思考过在工作中每天花费多少时间进行重复性任务,如果将这些时间用于更重要的任务会如何?亚马逊云科技的一个客户NinjaTech AI已经分析了这一点,并确定员工每周可能会花费长达20小时进行这类任务。我们如何能够改变这种状况?

NinjaTech正在开发下一代代理,未来将为你提供协助。他们正在利用Amazon SageMaker来利用基于亚马逊云科技Trranium Inferentia的实例,为其机器学习模型提供服务和微调,同时还利用所有其他功能来部署和操作管理其机器学习模型。这使他们能够在推出新解决方案时安全、经济高效地扩展。与类似替代方案相比,他们的平台节省了超过80%的成本。

让我们再举一个独特的客户例子,Amazon.com。他们最近在Prime Day期间,通过其购物助手Rufus帮助客户做出更明智的购买决策。网上购物有时可能有些冷冰冰的。很难获得与与经验丰富的销售人员合作时相同的体验。客户会觉得在查看产品细节时很孤单。

对于鲁弗斯而言,挑战在于如何在数字环境中重现与实体店内专家的亲密体验。它是如何做到的呢?鲁弗斯接受了亚马逊广泛的产品目录、客户评论、问答以及来自整个网络的信息培训,以回答客户关于各种购买需求的问题。因此,当客户刚开始时,它会进行广泛的研究,提出不同的想法,例如在购买跑鞋时需要考虑哪些因素,或者比较不同跑鞋之间的差异。然后,它会进一步深入探讨各种跑鞋之间的具体区别。

基于GenAI的创新,鲁弗斯显著提高了客户找到并发现最能满足其需求的优质产品的便利性,并将其完美融入了亚马逊的购物体验。

然而,实施任何大型语言模型解决方案并赋予AI以生命是一项挑战,就像我们所看到的那样,在像Prime Day这样的大规模场合下实现这一点就更加复杂了。那么,这一切是如何实现的呢?它是由亚马逊云科技Inferentia 2芯片驱动的,这些芯片为鲁弗斯提供了32GB的加速器内存。这种经济高效且可扩展的基础设施使亚马逊鲁弗斯取得了成功。它降低了41%的成本,使鲁弗斯的性能功耗比率比任何其他评估过的解决方案高出50%,同时为客户保持了高性能和低延迟。

上述提到的NinjaTech AI或鲁弗斯的创新,如果不考虑可持续性是无法实现的。我们需要确保继续找到创新的方式,为我们的全球运营推动长期可持续的解决方案。2019年,亚马逊云科技制定了在2030年前使用100%可再生能源,与亚马逊全球运营(包括数据中心、企业大楼、杂货店和配送中心)所使用的全部电力相抵消的目标。塞廷格高兴地宣布,他们提前七年实现了这一目标。如今,他们正在使用100%的可再生能源与亚马逊全球运营所使用的全部电力相抵消。

塞廷格所提及的所有基础创新对于使人工智能更加易于获取至关重要,这正是亚马逊云科技从一开始就致力于的目标。亚马逊云科技坚信,让新技术尽可能具有成本效益和易于获取是关键所在。

在生成式人工智能领域,亚马逊云科技关注的一个最关键趋势是为特定的使用案例或业务问题定制化生

在生成式人工智能领域,亚马逊云科技关注的一个最关键趋势是为特定的使用案例或业务问题定制化生成式人工智能。微调是支持其生成式人工智能技术栈的关键技术之一。Amazon Bedrock利用塞廷格所提及的所有创新,借助领先供应商(如Anthropic、Meta、MustralAI和Amazon)的大型语言模型和其他基础模型,来构建和扩展生成式人工智能应用程序。

最近,亚马逊云科技添加了一些强大的模型,如Anthropic的Claude 3.5和Sonnet,更重要的是,Bedrock通过生成增强检索或模型微调,使用自己的数据来定制化应用程序变得更加简单。

例如,Amazon Bedrock是唯一一个托管服务,可以让您微调最新的Claude模型,在其智能类别中,它也是一个经济实惠和高效的模型选择。因此,通过提供您自己的微调模型和数据集,您实际上可以将它们与Claude III Haiku相结合,以提高模型的准确性、质量和一致性,并进一步定制您的生成式人工智能应用程序。

塞廷格感谢大家的到场,并表示希望演示、客户案例、亚马逊的故事以及合作伙伴关系能够给大家带来启发。您可以轻松地使用Amazon SageMaker、Amazon Bedrock或Amazon Q来构建自己的生成式人工智能创新。如果您刚刚起步,也可以查看Party Rock。她对于大家能够一起做出更多成就感到兴奋,并期待看到您利用亚马逊云科技的人工智能基础设施所开发和部署的所有创新。

赛廷格的演讲全面阐述了亚马逊云科技的基础设施,包括定制芯片Trranium和Inferentia,以及SageMaker等服务,如何推动了各行业中人工智能生成技术的创新。他强调了Inricks、NinjaTech和Amazon.com等客户利用这一基础设施提供增强的GenAI体验的实例。他还重点强调了在通往由GenAI驱动的未来道路上,安全性、可持续性和可及性的重要性。总的来说,他的演讲展现了亚马逊云科技如何推动这一变革性领域的进步,勾勒出一幅令人兴奋的愿景。

总结

该演讲深入探讨了亚马逊云科技基础设施在加速生成式人工智能(GenAI)创新方面的关键作用。它强调了亚马逊云科技拥有弹性和经济高效的基础设施层,包括专门构建的芯片,如Trranium、Inferentia和Graviton,以及Amazon SageMaker,使客户能够构建和扩展满足其需求的GenAI应用程序。

演讲者指出,支撑GenAI的基础模型(FMs)需要数PB甚至EB的数据。亚马逊云科技提供了广泛的加速器选择,包括GPU和定制芯片,以高效地训练和部署这些模型。Inricks、NinjaTech和Amazon的Rufus等示例说明了客户如何利用亚马逊云科技基础设施在各个行业推动GenAI创新。

演讲还涉及了亚马逊云科技在可持续发展方面的努力,实现了全球运营100%可再生能源的使用。最后,它强调了Amazon Bedrock,这是一项简化构建和扩展GenAI应用程序的托管服务,采用领先的语言模型,并通过诸如微调等技术实现定制。

总的来说,该演讲强调了亚马逊云科技致力于提供可访问、高性能和安全的基础设施,以推动GenAI创新,使客户能够在各个领域释放新的可能性。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。