对视频编解码结构的理解

HEVC系列编解码器思路

在大厂的音视频算法领域摸爬滚打了一年，老东家leader和同事都很nice。但由于自身某些原因选择了换部门。近日尘埃落定，恰好身边朋友（其实是女朋友）在攻读这方面（虽然只是有一点点点点沾边），写一点自己独有的思考，也算是一年的技术总结。

HEVC框架

总的来说视频编解码系统有很多，今天只说软件编解码。我认为可以分为传统方法和NN（神经网络）方法，但是由于在音视频领域，尤其是实时音视频在目前很难应用NN。像YouTube这种云播平台是用的NN那就另外一回事了。那传统方法呢？其实我们自己也可以搭建一个简单的系统：视频编码无非是在图像编码的基础上增加了时间信息。而对时间信息的简单利用方式即利用帧间信息。那么就很容易咯，我们可以利用图片编码算法，如jpeg, bmp等算法对每一帧图像进行编码，记此结果为大写I。在编第i+1帧的时候与第i帧进行对比（比如做差），把差别（记为d_i）作为第i+1帧的编码结果。那么最终的视频码流（即对视频编码后的数据二进制文件）的总大小=I+d₁+d₂+…+d_n。这种算法我们可以叫他视频编码算法v1.0。

其实HEVC在我看来也是这样的套路或者是流程，先对第一帧（官称I帧）进行编码，再对与前一帧区别不大的第i帧（官称P帧）编码。对P帧的编码就用到了P帧与其前1帧或前几帧的差别。当然，针对I帧和P帧，H.264/H.265/SCC(Scre