​5G+AI时代的高效视频处理

当前互联网上大于75%的流量都来自于视频，据估计5G时代视频流量更是高达90%以上。如何压缩、传输以及分析视频内容成为5G部署及大规模应用的关键。虽然传统的5G部署也有一定市场，但经过AI加持的智能终端/边缘/云计算可以为5G带来更大的收益及降低其部署成本。本次报告主要探索了在硬件层面如何利用传统方法及深度学习方法对视频进行压缩和分析，以及如何在5G信道中传输压缩后的码流。

文 / 徐科

整理 / LiveVideoStack

本次分享的内容是关于在AI + 5G时代下视频、图像处理等技术的发展情况，以及在5G技术与人工智能的加持下，视频处理，图像处理等技术的发展方向。本次分享侧重于硬件以及芯片方面，将更多地介绍关于硬件设计、驱动、并行架构等方面的内容。

 

本次内容主要分为三个部分。第一部分是针对人眼的视频编解码压缩，这也是传统的处理领域。二是针对机器视觉的视频压缩。现在越来越多的视频或者图像主要目的是给机器分析，而不是给人眼去看，那么视频编解码、视频处理是否会有变化，如果有变化，其变化情况如何。三是随着5G和AI的兴起，尤其是在视频编解码标准这一方面，是否遵循着以前的混合架构。MPEG系列的的混合架构已经用了几十年了，到现在使用的ITU、H.266、VVC也没有完全地跳出MPEG-I的框架。

1. 对于人而言的视频编解码的压缩

1.1 VVC、EVC、LCEVC介绍

最开始的视频编解码可能就是MPEG一条线，然后一步一步发展，比如H.264、H.265，到现在正在做的H.266。但这样一条线的日子并没持续太长时间，就出现了两个竞争对手，其中一个就是我们国家自己的AVS标准，之所以出现这样的标准，原因是H.264基本上被国际标准组织所把控，所以国家也需要有一些自己特定的标准，于是就开发了AVS，到现在已经是AVS3了。另外一个是像Google或者AOM联盟，其主要目的是把标准开源化。像Facebook这样的大公司，视频占据整个流量的绝大部分，所以Facebook需要每一年向MPEG这样的标准组织交纳大概6000万美元的专利费，这是一个巨大的数字，因此像Facebook这样的公司计划将每年交纳的专利费用于做标准并且进行开源，这就促成了VP8、VP9，现在的AV1以及正在开发的AV2这一标准系列的诞生。所以除了MPEG系列之外，还有AVS、VP/AV这样的标准系列。图中列举了三个，对于MPEG标准组织而言，也不是只做VVC这一方面，EVC和LCEVC两者可用于解决VVC里一些不能覆盖的问题。

 

H.264是20年前的技术，H.265是2013年出来的，H.264是2003年出来的，目前H.264在整个网络流量的占比非常大，超过一半。而H.265到现在为止，经过多年还未成为主流的技术的主要原因就是输在它的专利上，第一它的专利费不如H.264便宜，第二H.264专利的收费方明确规定，一旦交纳专利费就不会再有其他的专利问题。但H.265并非如此，它有几个不同的专利池，另外还有些公司在H.265里有自己的专利，但实际上并未加入专利池，这相当于即使使用了H.265，还是需要交纳专利费，所以这就阻止了很多公司对H.265进行大规模地开发。

 

H.266里面有VVC、EVC、LCEVC，三者针对不同的应用有不同的收费方式。比如VVC是即将在2020发布的，它的Versatile就是适应很多不同的场景，VVC里做了很多的技术以适应不同场景下的不同的编码，所以它的License是要收费的。EVC跟VVC的区别是EVC在Baseline部分是不收费的，它是一个免费简单且效率不太高的编解码标准，但是在Main及以上部分就需要收费了。

 

随着视频编解码越来越复杂，VVC里的一些新的编码工具的复杂度也是一代一代地增加，LCEVC主要的目的就是，不管在软件还是在硬件方面，把复杂度降低，这相当于把复杂度倒回去，因为H.26