AITransfer: Progressive AI-powered Transmission for Real-Time Point Cloud Video Streaming

成果

通过提取和传输关键点云特征来减少带宽消耗并减轻计算压力。

论文提出了 AITransfer，这是一种 AI 驱动的技术，可显着降低点云视频流的传输量和能耗。 AITransfer 避开了传统传输方案中繁琐的多重处理，设计并训练了一个从原始数据采集到最终渲染和播放的端到端深度学习网络。它从原始点云中提取关键特征以进行高效传输，然后执行点云重建，而不是压缩和编解码等多个常规过程。此外，AITransfer 将动态网络条件融入设计和训练中，从而为在线部署提供具有动态感知和切换的自适应特征传输。

AITransfer 有两个突出的贡献，包括（1）将动态网络带宽纳入端到端架构的设计，具有特征提取和重建两个基本内容，以及（2）使用在线适配器来感知网络带宽和 匹配最优推理模型。

我们对典型数据集进行了广泛的实验，并开发了一个案例研究来证明效率和有效性。 结果表明，AITransfer 在现有网络环境下可以提供超过 30.72 倍的压缩比。

点云传输的挑战

在现有的网络环境中传输密集的点云流，包括5G，是极具挑战性的，原因如下：

1. 大量的原始点云视频帧需要高带宽，即使在传统压缩后也可能处于Gbps水平，超过当前5G网络的能力；
2. 解码体积媒体的高计算开销，因为我们只能使用软件编解码器，其低效的编解码器也减缓传输；
3. 传统的技术，如自适应比特率(ABR)视频流的速率自适应和缓冲区控制，不适用于传输点云。

现状

大多数现有的点云视频传输技术包括：

1. 常规压缩，用于提供有损和无损压缩并减少数据量。 一方面，点云视频的无损压缩仍然不足以实现高效传输和可观的传输。
2. 另一方面，有损压缩很难保证恢复的点云视频的真实性，有损压缩传输tile，由于数据量恒定，这种方法存在高移动能耗和接收设备上不可接受的处理延迟的问题。 此外，每个传输块容易受到网络波动和重组过程中各种丢包的影响。综上所述，传统的传输容量远远不能满足实时点云视频流的带宽需求。

使用ai模型压缩点云的挑战

如何设计一个集成的端到端神经网络来减少传输量？

我们通过融合原始点云的特征提取和重建来设计一个集成的神经网络，以实现端到端的训练。 在数据发送端，我们提取关键点云的本质特征，以提供对原始输入的极端压缩和节能传输。 此外，在数据接收端采用轻量级重建神经网络，尽可能地将数据恢复到原始输入，并在资源受限的设备上提供实时点云重建。 只传输提取的关键特征，极大地减少了传输量，保护了数据隐私。

如何在这种新颖的传输机制中提供动态带宽感知和自适应匹配？

我们首先将动态网络带宽纳入AitTransfer的核心架构，并为特征提取和重建提供多个推理模型，以适应各种网络环境。然后，在部署和在线传输中，AitTransfer使用在线适配器模块来选择满足实时网络条件的最佳离线训练推理模型。