实时视频处理的边云协作神经网络

最新推荐文章于 2023-01-30 20:44:51 发布

librahfacebook

最新推荐文章于 2023-01-30 20:44:51 发布

阅读量1.4k

点赞数

分类专栏： Edge Computing 模型压缩边缘智能文章标签：实时视频处理边缘计算云计算模型压缩

本文链接：https://blog.csdn.net/librahfacebook/article/details/97136512

版权

本文提出了一种Edge-Cloud模型，通过神经网络技术在边缘和云端的协作，解决实时视频处理的延迟和带宽问题。探讨了神经网络划分、通信差异和压缩的结合应用，并通过实验验证了各种技术的性能，如延迟、压缩比和精度，为实时视频处理提供了优化方案。

摘要由CSDN通过智能技术生成

本文出自论文 Collaborative Edge and Cloud Neural Networks for RealTime Video Processing ，主要提出来一个在边缘和云上协作的处理模型（Edge-Cloud Model）。

视频流的高效处理在许多新兴的物联网和边缘应用程序中是一个关键的组成，例如虚拟现实（VR）、增强现实（AR）以及自动驾驶汽车。这些应用程序要求实时的高通量视频处理。这可以通过一个在边缘和云上协作的处理模型（Edge-Cloud模型）来获得。为了这个目的，许多方法被提出来优化Edge-Cloud视频处理的延迟和带宽占用，特别是基于神经网络的方式。

文章目录

一、简介

对于实时处理的应用程序来说，最大的挑战是在低计算能力的边缘设备上进行实时处理的要求。这强制要求系统设计者来选择两个问题点：（1）在云上处理图像但要忍受高延迟和带宽成本；（2）在边缘设备上处理图像但要放低精度或实时要求。一个在边缘和云上的协作模型被提出来避免这两种问题。
用于实时视频处理的技术：（1）划分（Splitting）：神经网络被划分到一个边缘分区和一个云分区；（2）压缩（Compression）：数据在被发送到云之前先在边缘被压缩；（3）通信差异（Differential communication）:只发送当前帧和先前帧的差异。
在证明中，我们提出了方法结合神经网络技术来实现一个更高的总体性能。特别地，我们探索了所有的结合空间，并为这个空间中的每个点提出了一个方法。另外，我们关注于应用这些神经网络技术和它们在协作Edge-Cloud模型上的结合。

二、Edge-Cloud神经网络

系统模型：我们的系统模型由边缘节点组成，它们通过WAN链接来连接到中心云节点。这个边缘节点由一个视频相机组成，它可以记录视频通过预先训练好的神经网络来进行处理。这个边缘节点有能力处理进入的视频帧，但是有着最小的计算能力并且不能依赖特殊的硬件加速器（如GPU）。由于云节点与边缘节点相比，有着不受限制的计算资源，边缘节点将处理神经网络的任务卸载到云上。然而，边缘和云上的通信有着大的延迟和高带宽成本，因此我们需要结合不同的神经网络优化技术来减少从边缘到云上的数据传输量。
神经网络技术：（1）神经网络划分（Neural Network Splitting）：神经网络被划分成一个边缘部分和一个云部分，利用了在边缘的计算资源，使得在云上的处理更加有效，另外合理地选择划分点可以优化