ADM301 | 亚马逊广告中的超低延迟机器学习

ADM301 | 亚马逊广告中的超低延迟机器学习

关键字: [Amazon Web Services re:Invent 2023, Sponsored Products, Machine Learning Models, Product Understanding, Shopping Trends, Real-Time Processing, Ads Moderation]

本文字数: 1800, 阅读完需: 9 分钟

视频

导读

本次分享面向数据科学家、工程师和技术领导者，了解亚马逊广告如何在亚马逊云科技中运行高吞吐量和低延迟的机器学习 （ML） 工作负载，以提高广告性能和购物者体验。了解他们如何构建具有多租户扩展、版本控制和实时见解的 ML 特征存储，该存储提供流式处理功能和深度学习嵌入，每秒处理数百万个请求，检索延迟为 1 毫秒。了解他们如何使用 Amazon Rekognition 对数百万个广告进行内容审核，以确保积极的广告体验。

演讲精华

以下是小编为您整理的本次演讲的精华，共1500字，阅读时间大约是8分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

亚马逊云科技的客户解决方案经理Varun Kamalakaran在拉斯维加斯举行的亚马逊年度峰会上热情欢迎了与会者。在这为期数天的活动中，数千场会议接踵而至，他感谢观众们优先关注关于“超低延迟机器学习”的演讲。Varun还分享了一些个人喜好，让会议氛围更轻松——他喜欢早晨，喜欢在温暖的海滩度假胜地度过假期，以避开西雅图家乡的雨水。此外，他还提到了他更喜欢狗而非猫，以及他更爱看刺激的动作片而非令人恐惧的恐怖片。Varun在拥挤的会议室环顾四周，再次感谢那些选择参加这次会议的人们。他明白每次re:Invent的时间都非常宝贵，因为有许多见解在争夺人们的注意力。随后，Varun介绍了他将一同上台的两位同事，他们是来自Amazon Ads的Shenhua Bao和Puja。首先，Varun概述了他们为何重视Amazon Ads作为战略合作伙伴的原因。接着，Shenhua深入探讨了他的团队在开发机器学习模型方面的工作，以便更好地理解赞助产品并进行实时预测，从而助力购物体验。最后，Puja详细介绍了她的团队如何利用亚马逊云科技的服务来强化亚马逊在全球范围内的广告审核流程。Varun强调，他们将涵盖诸多见解和所学知识，鼓励听众做好笔记并拍照记录有用的幻灯片内容，但请避免使用烦人的相机闪光灯。在结束发言时，他提到了将在会后提供Shenhua和Puja的联系方式，以及获取受欢迎的亚马逊广告商品的详细信息。

瓦伦详细介绍了亚马逊广告作为亚马逊内部的一种广告业务。他解释了亚马逊网站上的搜索结果是如何显示与输入的关键词相关的“赞助”产品的。他还提供了一些例子，如Prime Video上的视频广告、Alexa推荐的相关产品，以及在全食超市中投放的广告。这些广告的共同目标是将品牌与客户联系起来，以创造愉快的有意义体验。借助亚马逊广泛的覆盖范围和丰富的购物数据，他们可以针对具有上下文的客户进行精准定位。

瓦伦提到了两个负责亚马逊广告的团队，它们都利用了亚马逊云科技的先进机器学习来推动定向广告的关键方面。首先，赞助产品团队使用机器学习来确定展示哪些产品作为与购物者意图相关的赞助搜索广告。其次，广告审查团队依赖于机器学习来评估适合不同地区和背景的广告。

从赞助产品团队开始，他们帮助广告商推广特定产品，通过定制搜索广告。为了有效地大规模进行此操作，他们需要深入了解数十亿产品，并进行超低延迟预测，以将搜索与相关的赞助广告相匹配。为了说明其规模之大，他们每天处理超过500亿次的广告印象，使用超过100个具有数十亿参数的深度学习模型，并在全球范围内每秒执行万亿次实时推理。

接下来，广告审查团队确保亚马逊各个属性中的广告对客户是安全、可靠且高质量的。在全球运营带来了挑战，因为需要每天在内15种语言中对数百万广告进行审核，以便在几个小时内覆盖20多个地区。这两个团队都在探索可能的边界，并设计解决复杂问题的创造性解决方案。

尽管所描述的规模是巨大的，但瓦伦指出，与会者可能在他们的机器学习旅程的不同阶段。然而，考虑到团队的多年经验，他们的见解和经验将是广泛适用的。就这样，他欢迎各位同仁详细阐述赞助产品的机器学习架构。

沈华首先表达了他的激动心情，并分享了他的团队是如何构建可扩展的深度学习系统来实时理解产品和购物者意图的。他详细描述了赞助产品如何基于查询在搜索结果页面上提供上下文相关的推荐。例如，搜索"圣诞睡衣"会出现适合节日礼品的赞助睡衣产品。当购物者点击睡衣查看更多颜色和尺寸时，更多的建议会出现以支持进一步的探索。

从根本上说，这种相关性需要预测购物者与产品互动的可能性。点击率和转化率的预测推动了客户参与度和广告商的投资回报。关键在于识别影响这些预测的信号。搜索查询提供了明确的意图—— "圣诞睡衣"表明购物者对季节性睡眠服装的兴趣。但是，您还必须深入了解产品本身——它是否真正与那个查询相关？亚马逊上有超过10亿个产品，这种程度的理解并非易事。

沈华解释了他们是怎样超越关键词匹配来捕捉潜在语义意义的。他们使用深度学习的嵌入技术，将产品标题、描述和图像输入到一个在10亿多个产品上训练的BERT模型中。这创建了一个准确包含每个产品的100维密集向量表示。在赞助产品点击数据上对模型进行微调，使其性能优于现成的BERT。

现在有了几十亿个高质量嵌入，挑战变成了如何在规模上提供它们以实现低延迟预测。在每个推断服务器上加载所有嵌入的朴素方法证明是不可行的，每台机器需要数十TB的内存。另一个将所有嵌入远程缓存的想法导致了无法承受的网络负载，相当于每秒超过5太比特——足够同时支持数百万个Netflix高清流。

相反，他们首创了一种混合架构，其中每个服务器都有针对流行产品的本地缓存，以及一个针对长尾产品的远程缓存。这优化了内存使用，同时降低了网络成本95%。其他技巧如二进制编码进一步缩小了有效载荷大小。结果是持续低于毫秒级的延迟，用于数十亿的嵌入。

但理解产品仅仅是故事的一半。捕捉实时购物趋势同样至关重要。沈华解释说，行为如何在主要促销活动、季节、一周几天甚至小时内动态演变。细分的趋势包括查询、产品和它们的组合。处理每天数十亿次的印象需要利用经过实战检验的亚马逊云科技服务。

他们使用Kinesis数据流和Lambda函数来实时摄入互动事件并更新购物趋势。ElastiCache提供了快速、完全管理的内存中数据存储，以实现低延迟的特征服务。一个用亚马逊简单队列服务构建的优先级队列确保重要的实时更新不会被不重要的批量作业拖累。这种架构实现了必要的吞吐量，并以毫秒级的延迟处理每天数十亿的印象，并每秒处理超过1亿次的深度学习请求。

然而，实际系统带来了独特的挑战。机器人流量可能会降低购物信号质量并过载资源。沈华解释了他们的混合机器人缓解策略。全面的离线机器人检测模型提供已知的恶意演员来进行阻止。在线验证对此进行了补充，在无法获得全部功能时自适应地抑制可疑流量。在服务器上均匀分配流量可以避免集中过载点。

有了购物趋势和产品嵌入，新的问题出现了。批量嵌入更新会延迟紧急的趋势更新。一个优先级队列通过快速跟踪趋势并将时间敏感性较低的嵌入更新分批处理来解决这个问题。

在大规模记录方面也证明是困难的。完整的功能记录产生了每秒10亿条日志条目和1TB数据的不可承受的开销。相反，亚马逊云监控提供了整体监控，而自适应采样专门针对调试特定功能。多个可用区增加了冗余，允许在一个区域发生故障时进行流量重定向，防止全面中断。

总之，沈华总结了他们如何利用亚马逊云科技服务构建健壮的超低延迟机器学习管道的过程。定制解决了赞助广告的独特规模、延迟和弹性需求。该架构支持在国际上扩展，并在最近的假日购物旺季高峰过后轻松缩放以优化成本。

沈华热情地向观众们推荐，他们在亚马逊网站上搜索"圣诞睡衣"，为亲朋好友选购礼物，这样既能分享节日的喜悦，也能亲身感受所谈论的系统。随后，他邀请同事普贾向大家详细介绍广告审核团队运用机器学习的创新成果。

下面是一些演讲现场的精彩瞬间：

领导者在re:Invent上对众多观众表示感激，尽管他们有很多其他选择，但他们仍然选择了参加亚马逊云科技的环节。

亚马逊广告致力于帮助品牌通过赞助搜索结果、视频广告、Alexa推荐以及店内广告等多种方式，为客户带来愉悦的体验并实现显著的商业成果。

赞助产品团队每天处理数百万亿次的印象，并运用超过100个深度学习模型进行在线优化。

亚马逊云科技采用分层方法，借助CloudWatch、自适应采样和S3等技术监测系统运行并对问题进行深入分析。

领导者们分享了他们是如何通过遵循亚马逊云科技的最佳实践，如在每个可用性区域（AZ）部署关键系统，从而克服了可用性方面的挑战。

总之，为了提高客户参与度，充分利用机器学习与深度学习的功能，以便更好地理解产品关联和购物趋势。

亚马逊云科技的服务，如Kinesis、Lambda、S3和SQS等，支持在全球20个市场上实现定制化、可扩展的广告功能。

总结

1. 在句子的开头或结尾添加一些过渡词，以便读者更好地理解文章的结构和逻辑。例如，可以在“来自赞助产品团队的沈华宝解释了他们是怎样使用数十亿参数开发深度学习模型来理解产品和识别购物趋势的”这句话前面添加“接下来，我们将关注”等类似的话语。

2. 如果有必要对某些专业术语进行解释，可以添加简短的注释，以便非专业人士能够理解。例如，在提到“Kinesis和Lambda等服务”时，可以添加一句简单的解释，如“这些都是亚马逊云科技提供的服务”。

3. 如果文章中包含一些长句子，可以考虑将其拆分成几个较短的句子，以提高可读性。例如，可以将“为了实现实时向模型提供产品嵌入服务,他们采用了在推理机器上使用本地缓存和在远程Elasticache上使用混合缓存策略,从而减少了95%的网络流量”这句话拆分成两个或三个较短的句子。

演讲原文

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。