AI视觉，视频云新挑战的解决之道

正文字数：4204  阅读时长：6分钟

AI就像一个加速器，正在渗透在多媒体应用的方方面面，改进甚至颠覆传统的图像视频处理方法。本文整理自腾讯云高级研发工程师刘兆瑞在LiveVideoStackCon 2020北京站上的演讲，将从超低码率压缩场景下AI技术在前置处理中的优化、AI技术的画质修复探索以及智能编辑场景的落地实践三个方面展开。

文 / 刘兆瑞

整理 / LiveVideoStack

大家好，首先非常荣幸有机会收到LiveVideoStack邀请来和大家分享腾讯视频云在AI视觉上的落地实践与应用，以及AI视觉泛化应用过程遇到的机遇和挑战。

首先简单做个自我介绍，加入腾讯以后，就一直在腾讯视频云工作，早先负责PSTN云通信平台，之后进行极速高清转码平台的研发工作，与此同时也针对视频的场景和特性进行编码器的优化。现在主要负责腾讯明眸（画质修复、画质增强）的研发工作，该工作与腾讯多媒体实验室联合研发，已经在腾讯视频云上得到比较好的落地与应用。

今天分享的内容更多以一个工程师的角度，和大家分享我们是如何把AI视觉真正的落地，应用在广泛、海量的视频处理过程中。所以在技术选型上，可能不会去选择目前state of the art的技术，更多会考虑模型的稳定性、泛化能力以及资源的消耗、成本。接下来的分享是我们在实际落地过程中遇到的问题、踩过的坑，以及我们的一些trick。希望能为做类似业务落地的同学提供一定的参考。

上图是腾讯视频云在直播点播媒体处理、智能编辑等方面的产品矩阵，可以看到，无论是直播、点播中应用的视频压缩和画质修复技术，还是智能编辑中应用的审核、识别、标签等技术，都离不开AI的支持。

01

极速高清，视频压缩的挑战

近年来，视频编码领域也是在飞速发展，从H264编码标准到现在的H265再到AV1。但是从实际用户的使用情况观察，目前H264标准依旧是主流，甚至90%以上的用户还在使用H264。其实，H264已经是十几年前的标准，有很多可以优化的痛点，我们希望可以结合AI技术，使H264在当前标准的基础上，获得新的编码压缩增益。

1.1 极速高清，单一视频的极致压缩

首先简单对腾讯云极速高清产品做个定义，简单而言它是一个结合了前置处理、编码器优化的整体视频压缩解决方案。给客户提供更低码率的同时，保证主观感受不变差，甚至更好的主观感受。

提到压缩肯