Werner Vogels 博士主题演讲

Werner Vogels 博士主题演讲

关键字: [Amazon Web Services re:Invent 2023， 亚马逊云科技， 生成式AI， Firecracker， Cloud Migration， Cost Optimization， Evolvable Architectures， Machine Learning Models， Generative Ai]

导读

加入亚马逊公司副总裁兼首席技术官Werner Vogels博士的讨论，他将分享他在管理日益复杂系统方面所学到的关键经验和策略。这场主题演讲将探讨拥抱复杂性的核心原则，借鉴亚马逊在大规模构建分布式系统方面的经验。

演讲精华

以下是小编为您整理的本次演讲的精华。

在这个科技进步重塑行业、改变生活方式的世界里，云计算革命开启了前所未有的创新和可扩展性时代。在这场变革的前沿，亚马逊云科技作为一股开拓性力量，让企业和个人都能利用云计算的强大能力。在备受瞩目的亚马逊云科技 re:Invent 2023大会上，亚马逊公司副总裁兼首席技术官Werner Vogels博士登台发表了一场思维激荡的主题演讲，揭示了成本意识、可持续性和人工智能(AI)与不断演进的云计算格局深度融合所产生的深远影响。

Vogels博士首先回顾了亚马逊公司云计算时代之前的情景，当时硬件限制给公司带来了重大挑战。他生动地讲述了一个事件，当时亚马逊平台上宣布有一千台Wii游戏机可供购买，在正式开售前五分钟就引发了大量流量涌入，需要采取复杂的应对措施来确保其他客户的服务不受影响。然而，云计算的出现消除了这些限制，让架构师们能够构建一直梦想中的系统，不再受制于物理服务器。

Vogels强调了成本意识的重要性，分享了他在亚马逊二十年来的经验，强调在设计架构时必须考虑成本因素。他以公共广播电视台(PBS)为例，这个机构需要在有限的预算内为附属机构提供节目和流媒体内容。起初，PBS将系统迁移到亚马逊云科技，但采用了简单的“提升和转移”方式，这种做法效率低下且成本高昂。然而，通过重新设计系统架构，利用亚马逊云科技服务如S3进行直接存储流媒体、CloudFront进行内容分发、ECS进行容器编排、Fargate实现无服务器容器，PBS成功将流媒体成本降低了80%，从而能够将更多资源用于履行自身使命。

另一个引人注目的案例是欧洲公司WeTransfer，该公司支持上传和分发大型文件。作为一家获得B Corp认证(符合最高环境、社会和物理透明度标准)的公司，WeTransfer重组了自身架构，以预测、跟踪和衡量碳排放，同时每月为8000万人提供服务。通过独特的策略，他们在推动技术进步的同时降低了排放量，展现了技术发展与环境可持续性并存的可能性。

Vogels介绍了“节俭架构师”的概念，这个框架总结了他在构建成本意识和可持续架构方面的经验。他将观察结果归纳为三条定律:设计、测量和优化，以及成本控制。

在设计定律中，Vogels强调成本应被视为一个非功能性需求，与安全性、合规性、性能和可用性并列。他强调了业务决策与技术选择保持一致的重要性，举例说明了亚马逊的“飞轮效应”，即产品种类(目录中的产品数量)驱动客户体验、流量，最终实现规模经济，从而为客户提供更低的价格。Vogels还强调了初创公司收入和成本模型不匹配所面临的挑战，凸显了构建与收入流相匹配的架构的重要性。他分享了一家公司最初提供无限数据计划而没有考虑对资源使用的潜在影响，最终导致收入和成本维度失衡而倒闭的例子。

测量和优化定律强调了持续监控和优化成本的必要性。Vogels分享了亚马逊云科技定价模型发展的见解，强调了解资源使用模式并相应调整架构的重要性。他回顾了Amazon Lambda的发展历程，最初的架构依赖于T2实例，由于隔离和安全性要求导致资源利用率不足和某些情况下过载。然而，通过大规模创新，包括开发Firecracker(一种启动轻量级微虚拟机的技术)，亚马逊云科技能够优化内存和计算使用，提高性能，并实现多租户而不被客户察觉。这一创新也为Amazon Fargate等服务铺平了道路，让客户能够运行容器而无需管理基础设施。

Vogels还介绍了“亚马逊云科技 Cost Explorer”的概念，这是Amazon Control Tower中一种新的体验，可以按应用程序查看成本、健康状况、安全性和性能。此外，他还宣布推出“Amazon CloudWatch Application Insights”，该服务可以自动检测EKS应用程序，为基于Kubernetes的应用程序提供单一仪表板监控相关指标。

在成本控制方面，Vogels强调构建可调优架构的重要性，允许通过软件选择和配置实现成本优化。他讨论了在细粒度层面调整的艺术，识别和消除数字浪费，并利用实例正确调配和优化数据传输等技术。Vogels分享了一家公司最初提供无限数据计划而没有考虑对资源使用的潜在影响，最终导致收入和成本维度失衡而倒闭的例子。

Vogels还深入探讨了人工智能的演进，从柏拉图和亚里士多德的哲学思考开始，一直到Alan Turing的开创性工作，以及1956年达特茅斯研讨会首次提出“人工智能”这一术语。他探讨了从符号人工智能到体现人工智能的转变，导致了深度学习、强化学习和大型语言模型(如GPT)等变革性技术的发展。

Vogels强调了人工智能为善的潜力，分享了一些组织的例子，如国际稻米研究所利用机器学习和计算机视觉来自动化稻谷分拣和存储，提高了30-40%的生产力，消除了积压。该研究所拥有20万种稻谷品系的种子库，能够重新培育任何类型的稻米并进行改良，如开发维生素A含量更高的“黄金稻米”，对某些社区而言至关重要。Vogels最近在爱尔兰遇到的Genetrainer公司利用人工智能检测婴儿可能存在的脑损伤，即使这种损伤一开始并不明显，也能及时治疗，从而提高这些儿童的生活质量。Precision.AI是另一家令人钦佩的组织，它使用配备了人工智能功能的无人机为农田绘制地图，实现针对性除草，大大减少了有害化学物质流入附近水域的情况。

接下来，Vogels介绍了一位特殊嘉宾，Thorn非营利组织的Rebecca Port North博士。Thorn致力于打击儿童性虐待，Port North博士分享了Thorn的人工智能驱动工具(如SAFER儿童性虐待材料分类器)如何帮助解救受虐儿童并缉捕罪犯的动人故事。她讲述了一个令人心痛的案例，一名被称为Maria的儿童遭到虐待，她的施虐者在一个内容托管平台上分享了2000多个虐待文件。由于Thorn的SAFER产品利用哈希和匹配技术发现已知的虐待材料，并使用CSAM分类器检测新的虐待材料，该平台得到了警报，从而引发调查，最终解救了Maria，并将施虐者绳之以法。

Port North博士深入探讨了构建CSAM分类器的细节，强调了处理非法数据的挑战以及训练模型所需的协作努力，利用亚马逊云科技服务(如Amazon ECR进行分发)在本地训练模型。她强调了监控性能、解决偏差以及持续重新训练模型以提高准确性、解决误报和漏报的重要性。根据国家失踪与被剥削儿童中心的数据，2022年，在线平台向其报告了超过8800万份疑似儿童性虐待的文件。Thorn的工程师以隐私优先和人机协作的方式部署了分类器，确保客户对内容审查和报告拥有完全控制权，分类器只是一个强大的磁铁，但最终决定权在人。

回到个人经历，Vogels讲述了他构建一个机器学习模型来从CT扫描中检测脑出血的经历，强调了这些技术的可及性以及在快速发展的科技领域保持终身学习的重要性。一位神经科医生曾强调，对于中风患者来说，如果不及时治疗，每分钟就会失去190万个神经元，情况极为紧迫。受此启发，Vogels着手开发一个项目，将显示脑出血迹象的CT扫描优先排在放射科医生的工作列表中。

利用Kaggle上的预标注数据，包括70万张CT脑部扫描图像，Vogels使用亚马逊云科技服务如Amazon SageMaker和Python SDK对预训练的模型架构进行微调。只需几次点击，他就能训练模型、获取API端点，并整合各种亚马逊云科技组件创建一个可演进的架构。这个架构包括诸如在检测到可能的脑出血时向神经科医生发送短信警报的功能，从而能够立即采取行动，彰显了技术在挽救生命方面的力量。

Vogels探讨了生成式AI对软件开发的影响，介绍了云开发工具包(CDK)的生成式AI构造，以及开发人员与Amazon CodeWhisperer和Amazon CodeCatalyst等编码助手之间的协作。他展示了Amazon CodeWhisperer与亚马逊云科技 SageMaker Studio的集成，允许开发人员在熟悉的代码编辑器中工作，同时利用AI驱动的工具。

在总结主题演讲时，Vogels强调了Amazon Codewhisperer Queue (Q)这一AI助手的变革潜力，它可以在软件开发的各个方面为开发人员提供帮助，从理解云计算解决方案到生成代码和迭代方法。他演示了如何将Q集成到亚马逊云科技云开发工具包(CDK)、Amazon CodeCatalyst和亚马逊云科技应用程序Composer等工具中，使开发人员能够提出问题、生成代码并在整个开发流程中获得指导。

在整个演讲中，Vogels强调了成为“节俭架构师”的重要性，在设计时考虑成本和可持续性，利用AI为善，并在软件开发过程中拥抱人机协作的力量。他鼓励开发人员和架构师不断学习、反驳自己的信念，并随着技术以前所未有的速度发展而探索新的问题空间和语言。

Vogels在亚马逊云科技 re:Invent 2023上的主题演讲，呼吁技术界拥抱新兴技术，同时关注成本优化、可持续性和道德实践。它强调了AI对各个行业的深远影响，从农业和医疗保健到儿童保护，并强调了技术人员利用创新力量造福社会的责任。

当这场思维激荡的演讲落下帷幕时，与会者对云计算和AI的变革潜力有了更深刻的认识。正如Dr. Werner Vogels所设想的未来，成本意识和可持续架构将与前沿AI技术并存，使开发人员和架构师能够推动创新的边界，同时为世界留下积极和持久的影响。

下面是一些演讲现场的精彩瞬间：

演讲者幽默地建议使用一个蒙太奇来说明云迁移的概念。

Andy Jassy，亚马逊云科技的首席执行官，反思了云计算的变革力量，使架构师能够构建可靠的大规模系统，而不受物理硬件的限制。

Jeff Bezos解释了飞轮效应，更大的产品选择会吸引更多客户，从而吸引更多卖家，进一步扩大选择范围，形成一个良性循环，推动增长。

通过合理调整实例规模、减少不必要的功能以及最小化资源使用量来优化云资源，从而降低成本。

解释了训练深度学习模型的复杂过程，包括前向和后向传递、调整权重和偏差以最小化损失和最大化准确性，所有这些都在幕后通过单击一个按钮完成。

Swami Sivasubramanian展示了在SageMaker Studio中直接启动代码编辑器并使用AI驱动的工具(如CodeWhisper)的能力，让开发人员可以在熟悉的环境中工作。

Vernon在亚马逊云科技 re:Invent 2023的主题演讲中暗示了一个即将推出的功能，可以直接从CI/CD管道扫描容器镜像。

总结

在这场引人入胜的演讲中，亚马逊公司首席技术官Werner Vogels博士深入探讨了成本意识架构的深远影响以及人工智能在塑造技术未来方面的变革力量。他强调将成本和可持续性视为与安全性和性能同等重要的非功能性需求，并分享了如何设计、测量和优化成本效率的见解。

首先，Vogels博士强调在设计阶段就需要考虑成本，并举例说明了亚马逊在构建S3和Lambda等服务时，了解资源使用模式并使定价模型与客户行为相一致的重要性。其次，他强调持续测量和优化的重要性，利用分析和代码分析等工具来识别和解决效率低下、数字浪费和降低成本的机会。第三，他提倡通过可调整的架构实施成本控制，使企业能够根据自身优先事项在成本、弹性和性能之间做出明智的权衡。

在演讲的后半部分，Vogels博士探讨了人工智能的变革潜力，展示了组织利用机器学习为社会公益做出贡献的真实案例，如打击儿童剥削和推进农业研究。他强调技术与人类专业知识之间合作的重要性，将人工智能定位为人类决策的辅助力量而非替代品。

最后，Vogels博士揭示了像CodeWhisperer这样的人工智能编码助手的令人兴奋的发展，这些助手有望通过减少繁重工作，让开发人员专注于更高价值的任务，从而彻底改变软件开发。他鼓励建设者终身学习，利用这些工具探索新的问题空间、语言和技术，开启软件开发的新时代，实现创新和高效。

总之，Vogels博士的演讲是一声响亮的号召，呼吁建设者优先考虑成本意识架构、利用人工智能产生社会影响力、拥抱人工智能编码助手的变革潜力，为技术成为推动善的力量和创新的催化剂铺平道路。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。