边缘 AI 加速

关键字: [Amazon Web Services re:Invent 2023, OpenVINO, Edge Ai Deployment, Computer Vision Models, Intel Processors For Ai Acceleration, Openvino Toolkit For Model Optimization, Federated Learning For Data Privacy]

本文字数: 1600, 阅读完需: 8 分钟

视频

如视频不能正常播放，请前往bilibili观看本视频。>> https://www.bilibili.com/video/BV1Fa4y1Z7Cp

导读

AI 有能力转变和创造创造真正价值的创新商业模式。公司可以用最少的数据构建模型，并使用 Intel 特定于域的工具包促进大规模部署解决方案。作为行业专家和客户聆听 OnLogic、Arduino 和 AI。io 介绍他们如何在边缘使用 AI 技术，通过优化客户体验、预测和管理库存，在农业、制造业和汽车业取得强劲的业务成果。在本论坛结束时，我们将提供 Intel 软件和硬件优化的具体例子，这些优化在边缘地带带来了创造性的、成功的 AI 解决方案。本演示文稿由亚马逊云科技合作伙伴 Intel 为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华，共1300字，阅读时间大约是6分钟。如果您想进一步了解演讲内容或者观看演讲全文，请观看演讲完整视频或者下面的演讲原文。

边缘计算和人工智能（AI）是当前最具变革性的两大技术。正如英特尔的销售工程师亚历克斯·怀特所解释的那样，将这两大创新在边缘相结合可以为所有企业和工作负载带来巨大的价值。在2022年亚马逊云科技re:Invent上，亚历克斯通过演示讲解了边缘AI是如何工作的，企业应该在哪里和如何部署它，以及如何解决部署过程中的挑战和客户在实际应用中边缘AI的例子。

亚历克斯首先让观众举手表示他们是否已经制定了边缘AI策略。他看到一些手举起来，表明有一些早期的采用者。然而，亚历克斯强调，边缘AI不仅仅是因为连接或延迟问题而成为必需品。随着边缘有更多的计算能力，现在正朝着使用AI来彻底改变客户体验的方向发展，这正是数据产生的地方。这对于公司保持竞争力至关重要。虽然大型数字企业处于领先地位，但边缘AI将颠覆每个行业领域。即使小企业也可以利用它来解锁改变游戏规则的机会。

根据亚历克斯的说法，对于每个组织来说，制定边缘AI策略至关重要，以构建更智能的产品，自动化流程，并推动下一代客户体验。这种边缘计算和AI的强大组合将触及每一个行业垂直领域。例如，零售商可以启用自助结账，制造商可以实时检测缺陷，而工业公司可以显著提高质量控制。随着边缘设备的普及和AI驱动的应用程序的增长，可能性是无穷无尽的。

英特尔提供了一套全面的方法来支持在工作负载中部署各种不同的硬件架构，如CPU、GPU和FPGA，以简化边缘AI的采用。这可以根据性能、规模和效率需求选择理想的平台。英特尔的Gaudi和OpenVINO等工具可以通过最小代码更改实现快速跨架构迭代和部署。例如,OpenVINO允许通过命令行中的一个标志将模型从CPU部署到英特尔GPU。联邦学习等特殊解决方案使边缘AI能够在组织边界外的定制环境中利用。据亚历克斯介绍，计算机视觉是当今最具潜力的边缘AI应用之一，它驱动了制造中的缺陷检测、更智能的零售体验和分析工业设备等使用案例。计算机视觉利用深度学习模型识别、分类并从图像和视频馈送中提取文本信息，从而解锁可以推动变革性业务成果的大量数据。为了展示边缘计算计算机视觉的力量，亚历克斯邀请了AI.DO的乔纳森·李上台。AI.DO的目标是使用技术民主化对职业体育的访问。乔纳森解释了他们如何构建一个使用亚马逊云科技、英特尔和OpenVINO的平台来分析运动员表现。他们的移动应用程序允许任何人执行训练、捕捉视频并获取速度、敏捷性和技术技能等详细的生物力学数据。这种边缘AI驱动的分析提供了精确的3D骨骼跟踪和比较基准，为专业团队和大学提供了一个数据驱动的选拔网络来识别和招募有前途的人才。到目前为止,AI.DO已经帮助全球100多名运动员与职业俱乐部和国家队建立了联系。计算机视觉模型使用亚马逊云科技上的Gaudi实例进行训练，并使用OpenVINO进行优化。总的来说,AI.DO展示了边缘AI如何能够大规模地将个人与改变命运的机会相匹配。为了加速像AI.DO这样的工作负载，亚历克斯讨论了英特尔Flex系列GPU的功能。具有4个离散媒体引擎的它们可以在GPU上本地运行整个视觉管道。这包括以最高达15倍的性能解码来自边缘摄像机的流、使用OpenVINO模型进行推理以识别对象以及高效的编码用于网络传输。

Alex demonstrated an end-to-end media processing pipeline on an Intel GPU. The system processed real-time video streams using computer vision models to classify vehicle types, colors, and trajectories. This data was encoded using the AV1 codec, which can save up to 50% of bandwidth compared to H.264 and was analyzed in Amazon Web Services. The demonstration highlighted how Intel GPUs seamlessly integrated real-time edge video analysis with cloud computing big data services.

Although some applications rely on centralized servers and GPUs, Alex explained that other applications require inference to be pushed further to the edge itself. This might be due to extreme low latency, limited connectivity, or space constraints. In these cases, specialized devices are required to process AI workloads at remote locations.

To illustrate edge computing technologies, Alex invited Michael Green from OnLogic to the stage. Michael shared how OnLogic provided robust and reliable edge hardware designed for industrial environments. They offered a range of optimized edge servers and PCs for heat, dust, vibration, and other challenges. These devices seamlessly collaborated with Intel CPUs, GPUs, and accelerators to create integrated solutions.

Michael gave an example of an edge AI deployment in a bottled beverage factory. It combined OnLogic systems with Red Hat, Intel, Amazon Web Services, and other partners to achieve video analysis and predictive maintenance. This one-stop solution enabled customers to quickly deploy edge AI without deep technical skills. According to Michael, this simplified many perceptions of a complex, time-consuming, and resource-intensive process. OnLogis committed to advancing partnerships to make edge AI more accessible.

Taking edge computing even smaller was Alex's invitation to Alan Gagnon from Arduino. Alan emphasized how Arduino boards worked with Intel integrations to enable real-time inference directly on devices such as sensors and actuators. He shared examples using the Arduino Nano, Nicla, and Portenta series for industrial AI applications.

The Nicla board could detect anomalies in vibration, motion, and sounds for predictive maintenance. The computer vision on Nicla Vision could inspect the lid quality of bottles in a beverage factory. The Arduino Portenta could run custom barcode detection to track goods in motion within a packaging facility. Alan also discussed using Syntiant's neural decision processor on the Nicla Voice for fall detection and emergency response. Overall, he showed how Arduino simplified the process of deploying edge AI from prototyping to production.

为了支持这些创新应用，亚历克斯（Alex）解释了英特尔（Intel）如何优化芯片和软件。最新的第四代至强（Xeon）处理器特别针对人工智能（AI）工作负载提供了加速功能。例如，高级矩阵扩展（AMX）能够显著提高张量流（TensorFlow）等框架的矩阵乘法性能，最高可提升300%。通过使用OpenVINO并进行简单的代码修改，可以实现性能的进一步优化，使得常见工作负载的加速速度达到3到90倍。

英特尔还与开源生态系统合作，优化AI堆栈的每一层，包括数据处理、模型训练和部署。例如，Modin可以在英特尔硬件上将Pandas加速高达90倍，将PyTorch加速高达3倍。英特尔还提供了一些工具，可以使用特定领域的数据定制公开可用的AI模型，以实现更准确的边缘应用程序。

总的来说，亚历克斯总结了英特尔如何为高性能、可扩展的边缘AI提供端到端的功能。这款产品组合涵盖了硬件、软件和合作伙伴关系，以无缝地运行从远程到云的工作负载。针对每个环境和用例定制的解决方案，英特尔正推动智能边缘体验的下一代发展。

下面是一些演讲现场的精彩瞬间：

领导者强调了人工智能如何对各种规模的企业产生深远影响，并强调了正确部署边缘人工智能的紧迫性，以便最大限度地提高其效益。

为了支持AI模型的部署，英特尔正在采用全面的方法来考虑各种硬件架构。

OpenVINO提供了一套强大的工具，可通过单一命令在不同硬件架构上部署计算机视觉模型。

联邦学习允许多家公司共同向集中式模型提供训练数据，同时确保数据的安全。

亚马逊云计算服务（亚马逊云科技）提供了灵活的边缘计算平台，可在远程设备如摄像头和传感器上本地运行AI推理。

亚马逊云科技持续改进软件以提高AI功能，从而实现了显著的性能提升。

总结

本次演讲的主题是关于边缘AI加速如何实现商业革命性成果。演讲者强调，边缘AI的策略不仅应该针对大型企业，还应该适用于各种规模的企业和各种行业。

演讲内容概括了实施边缘AI的三个关键因素：

首先，要考虑到多个边缘位置，包括企业云、On-Premises Edge、Far Edge设备和Client设备。选择合适的位置取决于诸如延迟需求、连接性和硬件需求等因素。

其次，如Intel Gaudi和OpenVINO等工具可以简化跨边缘位置的模型开发、优化和部署过程。这些工具屏蔽了硬件差异，使得模型能够在CPU、GPU和其他加速器上灵活运行。

最后，在部署到边缘时，安全性至关重要。英特尔的SGX和TDX技术提供了从芯片开始的基础硬件安全性。对于远程边缘设备，供应链保护也非常重要。

总的来说，边缘AI有望带来革命性的体验和洞察，但在何处部署、如何加速开发和如何保护模型和设备方面需要策略。通过采用正确的边缘AI方法，任何规模的企业都可以在竞争中脱颖而出。

演讲原文

https://blog.csdn.net/just2gooo/article/details/134834577

想了解更多精彩完整内容吗？立即访问re:Invent 官网中文网站！

2023亚马逊云科技re:Invent全球大会 - 官方网站

点击此处，一键获取亚马逊云科技全球最新产品/服务资讯！

点击此处，一键获取亚马逊云科技中国区最新产品/服务资讯！

即刻注册亚马逊云科技账户，开启云端之旅！

【免费】亚马逊云科技“100 余种核心云服务产品免费试用”

【免费】亚马逊云科技中国区“40 余种核心云服务产品免费试用”

亚马逊云科技是谁？

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者，自 2006 年以来一直以不断创新、技术领先、服务丰富、应用广泛而享誉业界。亚马逊云科技可以支持几乎云上任意工作负载。亚马逊云科技目前提供超过 200 项全功能的服务，涵盖计算、存储、网络、数据库、数据分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体，以及应用开发、部署与管理等方面；基础设施遍及 31 个地理区域的 99 个可用区，并计划新建 4 个区域和 12 个可用区。全球数百万客户，从初创公司、中小企业，到大型企业和政府机构都信赖亚马逊云科技，通过亚马逊云科技的服务强化其基础设施，提高敏捷性，降低成本，加快创新，提升竞争力，实现业务成长和成功。