论文翻译4-LiveSRVC

论文翻译4-Public Review for Higher Quality Live Streaming under

题目：较低上行带宽下的更高质量直播：一种基于超分辨率的视频编码方法

首页评论：

​ 视频流占 60% 以上，因此占当今互联网流量的大部分。预计这个数字在不久的将来会增长，直播服务对工业界和学术界都变得越来越重要。实时流媒体基本上包括两个方面：（i）实时摄取（即供应）和（ii）实时访问（即消费）。本文通过提出基于实时超分辨率的视频编码 (LiveSRVC) 来解决前一个方面，这是一种在有限上行链路带宽下的视频上传（即摄取）框架。该论文的贡献是双重的，即（a）基于超分辨率的关键帧压缩模块和（b）相应的比特率自适应算法。前者假设在解码摄取流时可用的超分辨率技术（例如，在云中）对关键帧应用更高的压缩比。后者考虑到动态变化的上行带宽，选择比特率和关键帧压缩比，也根据云计算能力。在接收端，应用超分辨率恢复下采样的关键帧，包括在线超分辨率模型训练。

​ 系统架构包括（i）视频编码模块，（ii）在线超分辨率模型训练，以及（iii）实时比特率适配模块。 LiveSRVC 使用高级视频编码 (AVC) 进行评估，尽管它已经很老了，但它仍然是最常用的视频编解码器。特别是，ffmpeg 已被修改为以两种不同的分辨率（即 1080p 和 720p）对视频进行编码，而关键帧分别被下采样到 540p 和 360P。 Pytorch 框架在接收器端与两个 GeForce RTX 2080Ti GPU 一起使用，一个用于推理，另一个用于在线训练。这些实验是通过使用 4G 上行链路轨迹数据集的网络仿真进行的，结果表明 (a) 视频质量提高了 10%-50% 或 (b) 与之前相比，所需带宽减少了多达 50%。分别是基线方法和相关工作（即 LiveNAS）。正如开头提到的，直播服务越来越受欢迎，因此，需要加强研究工作以实现高质量的体验 (QoE)。本文为实时流媒体的摄取方面提供了一个彻底设计的解决方案，特别是在有限的上行链路带宽下。未来的工作可能会将 LiveSRVC 与第二个方面，即访问和消费方面结合起来。

Christian Timmerrer 撰写的公开评论
克里斯蒂安多普勒实验室
ATHENA，Alpen-Adria-Universit¨at Klagenfurt，
奥地利

摘要

​ 随着实时流媒体的日益普及，在上行带宽有限的情况下，高视频质量和低延迟已成为一个重大挑战。在这项研究中，我们提出了基于实时超分辨率视频编码（LiveSRVC），这是一种新颖的视频上传框架，可在有限的上行链路带宽下以低延迟提高实时流媒体的质量。我们设计了一个新的基于超分辨率的关键帧编码模块来提高编码压缩效率。 LiveSRVC 动态选择关键帧的码率和压缩比，减轻上行带宽容量对直播质量的影响。跟踪驱动的仿真验证了 LiveSRVC 可以提供相同的质量，同时与原始编码方法 (H.264) 相比减少多达 50% 的所需带宽。与使用超分辨率重建所有帧的方法相比，LiveSRVC 消耗的 GPU 占用时间至少减少 10 倍。

CCS 概念 ：• 信息系统→多媒体流； • 网络→ 网络资源分配。

关键词：视频传输、直播、超分辨率、视频编码

1 INTRODUCTION

​ YouTube Live 等直播平台，每天吸引数百万活跃用户 [10, 21]，使得直播占据了互联网视频的巨大流量。一系列研究 [5, 16] 表明，视频质量不足和高延迟会损害用户体验质量。因此，内容提供商必须提高视频质量并尽量减少收入延迟。然而，大多数内容提供商都在努力以有限的上行链路带宽提供高质量和低延迟的实时流媒体。不足的上行带宽限制了低延迟的高质量实时视频流的传输。 4G网络中上下行带宽的差异高达十倍[24]。为了有效地传输 1080P 高清在线流，所需的带宽至少为 6 Mbit/s [4]，但商业直播服务器的平均上行传输速率小于 1 Mbit/s [25]。

​ 尽管已经做出了重大努力来提高直播流的质量，例如内容交付网络 (CDN) 调度 [29] 和自适应比特率算法 [8, 26]，但如果在传输期间上行链路带宽有限，则专注于下行链路的方法仍然会受到影响。从广播公司到云端的传输。最近，基于深度神经网络 (DNN) 的超分辨率 (SR) 已被用于视频传输以解决带宽不足的问题 [14]。与传统的上采样方法（即双三次）相比，基于 DNN 的超分辨率技术实现了出色的图像恢复性能。 BIPP [20] 在视频压缩模型中集成了基于 DNN 的超分辨率，通过压缩和重建视频中的非关键帧来实现更高的视频压缩率。 LiveNAS [14] 上传低分辨率视频，并利用基于 DNN 的超分辨率重建云端所有帧，提高直播视频质量。然而，超分辨率的长解码时间使得直播视频传输难以满足严格的延迟要求，导致直播流的高延迟。因此，如何在上行带宽不足的情况下提升直播的整体体验，避免视频质量和延迟之间的权衡仍处于探索阶段。

​ 在本文中，我们提出了基于实时超分辨率视频编码（LiveSRVC），一种新颖的视频上传框架，以减少从广播公司到云服务器的上传延迟，并在有限的上行链路带宽下提高直播的整体质量。具体来说，我们设计了一种新颖的关键帧压缩编码模块，可实现最具成本效益的比率。关键帧被下采样到较低的比特率，从而减少上传延迟。与现有的重建所有帧的超分辨率方法相比，我们只需要在云服务器上重建关键帧即可保证计算效率。然后我们应用基于 DNN 的超分辨率来重建云服务器上的下采样关键帧。此外，对于包含 N 帧的一组图片（GOP）[23]，只需要对一个关键帧进行超分辨率上采样，与对所有帧进行上采样相比，只需要 1/N 的计算资源，减少了计算的消耗。资源显着。为了动态适应上行网络条件，应