如何利用深度学习提升视频转码效率与视觉质量？

视频处理平台的核心功能是视频转码，而转码压缩的过程势必会造成视频质量的损失。腾讯音视频实验室技术专家高孟平在LiveVideoStackCon 线上交流分享中根据腾讯丽影平台的开发实践经验，详细介绍了如何利用深度学习在提升视频转码压缩效率的同时提供更高的人眼视觉质量。在LiveVideoStackCon 2019上海 音视频技术大会中，高孟平博士还将介绍无参考质量评估在视频增强的进展与应用。

文 / 高孟平

整理 / LiveVideoStack

直播回放 

https://www2.tutormeetplus.com/v2/render/playback?mode=playback&token=0febd6ef28094bb0b9d7859a2e6c4f68

大家好，我是来自腾讯音视频实验室的高孟平。接下来我将围绕深度学习在视频分析与处理方面的实践，为大家分享我在腾讯音视频实验室开发腾讯丽影这一视频处理平台时收获到的经验教训，希望能够为大家带来帮助。

视频处理平台的核心功能是视频转码，大家理解的视频转码可能是用于缩小文件体积。实际上随着体积的缩小，视频的品质也会越来越差，转码造成的质量损失似乎难以避免。腾讯丽影是一个以人眼视觉为标准的视频处理平台，致力于实现通过转码缩小视频文件体积的同时提升画面的主观视觉质量。依据传统的编解码思路，从信号处理的角度出发，通过衡量转码前后的视频画面相似程度来判断转码质量，其局限性在于只能用于判断经过转码处理后视频画面的劣化程度，而无法准确判断其主观视觉质量因为适当视频修复增强所带来的提升。

 

上图展示的是某短视频App的视频片段, 以及经过丽影平台再转码后所得到的画面，可以看到丽影平台处理后的视频文件体积相较于某App缩小一半以上，同时人眼视觉质量更加出色。这里的第一个关键点在于如何衡量人眼视觉质量高低并将人眼视觉特性用于优化视频处理平台的转码过程，使经过转码处理的视频所呈现的画面更加符合人眼观看习惯；第二个关键点则是有哪些成熟的工具可以帮助在视频处理与人眼视觉之间建立联系。我将借本次分享为大家介绍腾讯丽影如何利用深度学习的方法实现将人眼喜好精准定位至我们的视频处理系统，以实现缩小视频文件体积的同时提升画面主观视觉质量的压缩与转码处理。

1. 问题描述

 

上图展示了我们对于此命题的解构：图中的绿色圆形代表带宽资源，其面积越大代表带宽资源越充裕；白色代表人眼所能感知的信息总量，面积越大代表人眼可从视频画面中接收越多信息，同时也意味着视频的主观视觉质量越高。我们将现实环境中肉眼直接看到的被采集画面作为主观视觉质量最好的基准Golden Oracle也就是图中左侧虚线绿色圆形，如果以使用手机采集为例，经过采集设备的第一次捕捉、转制与压缩过程，视频所保留的可供人眼捕捉到的画面信息为图中黑实线绿色圆形内的白色三角区域（Src）；随后视频数据上传云端转码后再分发，其势必会造成画质的进一步折损，我们将经过传输后视频所保留的可供人眼捕捉到的画面信息表示为图右侧黑实线绿色圆形内的白色正方形区域（Enc）。

 

从H.264到H.265甚至到VVC也就是大家熟悉的H.266，压缩算法的升级本质上是在带宽限制相同的基础上进一步提升人眼所能从画面中获取到的信息总量，也就是在控制绿色圆形面积不变的情况下尽可能增大白色区域面积，将白色正方形“升级”为白色五边形乃至白色六边形，最后变成一个完全覆盖绿色区域的白色圆形。

如果我们将采集到的视频通过有限的带宽资源上传至云端并使用更出色的编码器处理视频数据，虽然云端更好的计算资源可以保留比前一种方案更多的视觉信息，但此方案在编码速度上容易受到网络环境的制约，如何改善此系统才能实现图中Src正方形对Enc三角形在主观视觉质量上的超越？

我们可以通过提升手机硬件水平，使用光学性能更好的镜头组件，算法更佳出色的ISP来保留画面的更多细节；将数据传输至云端后使用经过优化的编码器即可有效改善相同带宽人眼所能感知到的视觉信息量。