体育运动直播中的智能运动跟踪和动作识别系统 - 视频分析如何协助流媒体做出实时决策

AI-Powered Streaming Vision: Transforming Real-Time Decisions with Video Analytics

原著：弗朗西斯科·冈萨雷斯｜斯特朗（STRONG）公司首席ML科学家

翻译：数字化营销工兵

实时视频分析通过即时处理实时视频数据，彻底改变决策，为安全、零售、制造和体育等行业提供变革性见解。然而，将尖端视频分析模型转化为实际应用带来了重大挑战。我们的探索深入构建实时视频分析应用程序的复杂世界，机器学习和流媒体技术的融合为直播注入了智能。

在接下来的部分中，我们将介绍设计和实现实时视频分析系统时的基本组件和注意事项。从了解流媒体技术的基本原理到深入研究在边缘计算和云计算之间进行选择的细微决策过程，我们系统地解开了构成强大而智能的视频分析解决方案的各个层。

为了说明这些原则的实际应用，我们提出了一个引人注目的案例研究，探讨了在体育直播中构建智能运动员跟踪和动作识别系统。最后，我们讨论了我们对人工智能如何重塑视频流的看法。

什么是流式处理？

设想2024年的一个典型日子。你可以参加Zoom会议，与全国各地的同事建立联系，开始你的工作日。稍后，您将收听您参加的在线会议的主题演讲。也许你会收到门铃摄像头的通知，说有包裹送到了你家门口。随着夜晚的临近，你决定一边做饭，一边在平板电脑上观看公牛队比赛的最后几分钟。

实时视频流已经无缝集成到我们的日常应用程序中。尽管具体实现方式各不相同，但无论是网络会议中的点对点流媒体还是大型体育赛事中的一对多流媒体，每个应用程序都有一个共同的目标：将视频内容从其源传输到最终用户的设备。尽管结构各不相同，但底层架构统一解决了确保高效视频内容交付的根本挑战。

在实践中，通过互联网提供实时视频遵循相同的核心流程：

贡献作用 contribution

通常被称为“第一英里”，管道的初始阶段确保视频内容从其来源贡献或上传。这可能源于各种设备，例如零售和安全应用中典型的IP摄像头，或体育赛事中使用的直播设备。贡献阶段使用RTMP、RTSP、SRT或WebRTC等协议对原始视频内容进行编码，以确保高效传输。

处理和分发 Processing and Distribution

一旦现场视频被发出，它就进入处理和分发阶段。这里，视频内容经历必要的编码、代码转换和其他处理任务，以优化它以实现高效传递。然后，处理后的内容被分发到战略性地放置的服务器，以处理传入的请求。根据应用程序的规模和需求，可以使用内容交付网络（Content delivery Network - CDN）来增强分发能力。

交付 Delievery

传送管道的最后阶段，有时被称为“最后一英里”，涉及将处理后的视频内容交付给最终用户的设备。这包括高效的流媒体以适应实时观看，最大限度地减少延迟并确保流畅的播放体验。根据应用程序类型、规模和延迟要求，可以使用不同的传输协议，如HLS、MPEG-DASH或WebRTC。

在贡献或交付阶段选择何种协议在很大程度上取决于应用。在构建实时视频分析应用程序时，了解每种应用程序的优点和局限性至关重要。当我们深入研究最常见的协议时，我们会发现延迟不一定是每个应用程序的主要驱动因素。