Netflix 的成功：结合协作、硬件监控和 AI（由 Intel 赞助）

关键字: [Amazon Web Services re:Invent 2023, Hardware Monitoring, Ai Usage, Encoding Pipeline, Collaboration, Performance Optimization]

本文字数: 1500, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1uN411j7UB

导读

Netflix 使提供无数小时的无缝流媒体看起，很容易。在本论坛中，Netflix 的专家将分享他们如何使用 Intel 性能工具和软件与 Intel 工程师协作。通过分析、调整和优化基于 Intel Xeon 的 Amazon EC2 实例上的 AI 工作负载，Netflix 讨论了在云端使用 Intel AI 加速器、PMU 和软件的情况。发现可以应用于业务的可操作见解和想法。本演示文稿由亚马逊云科技合作伙伴 Intel 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共1200字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

英特尔公司的一位高级工程师，Harshad San，在2022年re:Invent上进行了一场关于AI315s赞助环节的演讲。在这次演讲中，他探讨了Netflix如何借助英特尔技术，在亚马逊云科技平台上取得成功的秘诀。他的演讲中提到了他的同事Phil Flask，一位来自Netflix的性能工程师，他的工作与Harshad类似，专注于最大化运行在英特尔至强可扩展处理器驱动的亚马逊云科技实例上的Netflix服务的性能。

Harshad表示，尽管英特尔以微处理器公司的身份闻名于世，但它还拥有超过15,000名软件工程师，参与到整个技术栈的工作中——从固件和虚拟化到运行时环境和Linux内核。实际上，英特尔是Linux内核和项目的最大贡献者，这些项目包括被Netflix广泛使用的OpenJDK、Cassandra和TensorFlow。

谈到对英特尔处理器的体验时，Phil解释说，Netflix的技术栈与Harshad所描述的非常相近。Netflix在亚马逊云科技平台上大量依赖英特尔至强处理器来支持各种工作负载，包括云游戏、机器学习、数据处理、可视化和后端服务。除了英特尔领先的硬件功能外，Phil还强调了英特尔在优化整个软件栈方面的专业知识，包括Netflix广泛使用的运行时环境如OpenJDK。

为了展示Netflix的运营情况，Harshad通过一个轻松愉快的问答环节来识别热门剧集《纸房子》中的一张截图。接着，他展示了两张分辨率几乎相同的照片，解释道其中一张的编码速率为680千比特/秒，而另一张仅为252千比特/秒。尽管后者的带宽比前者低64%，但两张照片用肉眼很难区分。Harshad指出，Netflix在优化编码以减少比特率方面投入了大量资金，而不会影响视觉质量。较低的比特率使Netflix能够在全球范围内播放内容，特别是在那些仅限于3G或4G移动网络的网络状况较差的地区。这还可以降低Netflix在全球数千个地点部署的OpenConnect内容交付网络中传递内容的存储和带宽成本。对于用户来说，较低的比特率意味着更小的下载量，这对于移动设备上有限的存储空间来说非常重要。

菲利详细地介绍了网飞公司的并行编码流程。与逐个标题按顺序进行编码的方式不同，网飞公司将视频拆分成更小的1分钟片段，并在数千台亚马逊云科技服务器上并行独立地进行编码。这样可以让紧急内容得到优先处理，同时还能利用空闲计算能力以较低优先级在后台以较低比特率重新编码现有标题。为了在数千台服务器上实现大规模并行方法，通用硬件而非专用设备对于最大化编码性能至关重要。

网飞公司还采用每标题、每片段和每镜头优化的策略。例如，卡通片可以比动作电影压缩得更厉害，而不会影响观感质量，从而允许在类似VMAF分数的情况下降低40%的比特率。在同一标题内，每个片段或短至2秒的独立镜头序列都可以使用自定义参数进行分析并编码为最优的可变比特率流。所有这些都需要有效地利用英特尔至强处理器在亚马逊云科技上的可用计算周期。

转到人工智能方面，菲利分享了网飞公司如何使用神经网络将视频降至高达50%的分辨率，以适应目标设备的分辨率。他通过他们的网络的示意图进行了阐述——使用多个卷积层生成引导掩码，将其应用于指导双三次下采样，从而获得优于简单下采样的质量。这种改进使得下采样神经网络产生了高出2%的VMAF评分，同时还带来了操作收益——重缓冲降低了15%，视频启动速度提高了3%，提升了总体流媒体体验的质量。然而，神经网络推理需要大量的计算资源。

当被问及在亚马逊云科技上运行此管道时，菲利强调了保持通用英特尔至强实例而非专用设备的优势。借助英特尔的软件优化，网飞公司在亚马逊云科技上使用英特尔的深度学习神经网络库（OneDNN）在其编码管道中实现了每秒15-200%更高的帧数。这表明了新英特尔处理器的发展速度之快。

哈沙德在每一代英特尔至强可扩展处理器上都进行了深入探讨，这些处理器可在亚马逊云科技上使用。他解释了自2013年引入的向量处理AVX-512指令如何相比标量代码为神经网络推理提供三倍吞吐量提升。2020年在亚马逊云科技上推出的第六代英特尔至强可扩展处理器，代号冰湖(Ice Lake)，引入了新的VNNI指令，相较于标量代码加速神经网络的速度提高了九倍。现在最新的第三代至强可扩展处理器，代号Sapphire Rapids，于2022年在亚马逊云科技上推出，带来了新的AMX指令，可以解锁深度学习常用矩阵乘法额外的两倍性能。OneDNN库会自动利用所有这些硬件增强功能。

在Netflix的优化方面，哈沙德回忆了他与菲尔是如何共同解决性能问题的。当将一个对延迟敏感的微服务从m5.4xlarge迁移到具有3倍更多内核的m5.12xlarge实例时，Netflix预期吞吐量容量会提高三倍。但实践中他们只观察到了20%的性能提升，而且节点之间的CPU利用率存在很高的不一致性。

为了进一步深入研究这个问题，他们使用了英特尔的工具，如PerfSpec和VTune，来分析英特尔至强可扩展处理器在亚马逊云科技上的硬件性能计数器。这些计数器揭示了在高CPU使用率和延迟的“不良”节点上，每条指令的周期数高出三倍，以及L1缓存缺失率更高。VTune指出了频繁出现的机器清除现象，这表明存在一个微架构瓶颈。

通过生成热点分析概览并查看代码汇编，VTune突出了导致高机器清除的一对特定指令。根本原因是两个被不同线程访问和修改的JDK变量之间发生了虚假共享。由于这些变量位于同一64字节的缓存线内，它们会因为虚假共享而在内核之间不断切换。这解释了为什么在低CPU使用率的“良好”节点中有12-13%的节点能够正常运行——由于偶然机会，这两个JDK变量有8%的概率被分配到了不同的缓存线，从而避免了虚假共享。解决方案是在JDK中插入64字节的填充，将这些变量重新分配到不同的缓存线。

在部署了新的Java开发工具包（JDK）后，公司的表现得到了显著提升。在亚马逊云计算服务（Amazon Web Services）上，CPU利用率和延迟分布得到了明显的改善，其中m5.12xlarge实例的吞吐量提升了3.5倍，达到了最佳状态。Harshad强调了英特尔的软件工具和工程合作的强大能力，这些工具能够识别并解决Netflix在亚马逊云计算服务上的性能瓶颈。

总的来说，Harshad总结道，第三代英特尔至强可扩展处理器提供了基于硬件的监控功能，增强了观察能力，并通过高级管理接口（AMX）和其他技术实现了人工智能加速。结合英特尔的软件优化，这为Netflix在亚马逊云计算服务云上实现了显著的总体拥有成本（TCO）节省和性能提升。Phil也表示同意，感谢英特尔继续投资并在英特尔处理器上提高Netflix在亚马逊云计算服务上的速度所展现的专业技能。

下面是一些演讲现场的精彩瞬间：

菲利普·弗拉斯克是Netflix公司的性能工程师，负责确保公司业务的平稳、可靠且高效运行。

在将实例类型从M5.4xlarge更改为M5.12xlarge之后，性能出现了意外的下降，同时CPU利用率呈现出了双峰分布。

作为性能工程师，他的职责之一就是使用系统健康检查工具来获取硬件配置细节、微基准测试结果、软件版本以及针对个人情况的性能改进建议。

为了优化视频处理流程，Netflix采用了并行化管道技术，以便优先处理紧急内容并合理分配闲置资源。

此外，他们还使用了AI下采样器来生成优化遮罩，以提高上采样时的图像质量。

最新的M7处理器配备了AMX指令，使得矩阵操作的执行速度相比前一代产品提升了2048倍，从而极大地加速了机器学习工作负载。

在亚马逊云科技re:Invent的一场关于边缘人工智能加速的会议上，领导者们在感谢观众后结束了演讲。

总结

该视频探讨了Netflix如何与英特尔展开合作，对硬件性能进行深入分析，并通过AI优化在全球范围内提供优质流媒体视频服务。双方紧密合作，成功解决了JDK中有关虚假缓存共享的问题，从而提升了性能。通过在缓存行间添加填充，他们的吞吐量提高了3.5倍。为了优化性能，Netflix运用多层可观察性，涉及基础架构、服务和CPU级别的指标。其编码管道采用并行处理方式，实现每个标题、每个分块和每个镜头的优化。应用神经网络降采样掩码技术可实现更高的视觉质量及流媒体性能。经过英特尔CPU优化的编码管道，每秒帧数提高15-200%。英特尔的AVX-512和新AMX技术也加速了神经网络的处理。总之，通过对硬件的深入研究，跨公司合作以及AI优化，可以在全球范围内提供更卓越的流媒体体验。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134818754

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。