FFmpeg-之I、B、P帧的基本编码原理（三）(1)

上篇说过，MPEG-1主要在时间冗余和空间冗余两个方向上，去除冗余数据。时间冗余是帧与帧之间产生的冗余数据，而空间冗余则是单帧图像中，相邻像素间产生的冗余数据。对于I帧来说，因为它是关键帧，既不需要参考过去的帧，也不需要参考将来的帧。所以对I帧的编码，是为了消除空间冗余数据，而且它采用的压缩算法，和JPEG类似。如下图：

从图中可以看到，如果图像是用RGB颜色空间表示的，则首先把它转换成用YCbCr空间表示的图像。然后每个图像平面分成8x8像素的图块，并对每个图块进行离散余弦变换（DCT）。

这里DCT的作用非常大，看它的名字可能会觉得非常高大上，其实它就是一个矩阵变换。关于它其实都可以专门写一篇文章出来，不过这里我们只需要知道它的作用即可。DCT简单点来说，它就是将前面8x8像素图块的颜色空间数据，分为高频数据和低频数据，所以我们也常说，DCT是把数据从空间域转换到频率域。

那什么是高频和低频呢？这里的高频数据是指，图像颜色的变化比较强烈的地方，比如人像画的轮廓与背景的交叉处，在这里的色值变化很快，所以称为高频。相对的低频就是指，颜色变化比较缓和的地方。所以DCT的作用并不是对数据进行压缩，而是为了方便后面的操作，比如量化、RLE行程编码、以及霍夫曼编码。

下一步就是量化，因为人眼对高频区域其实并不敏感，所以利用这一点，可以将高频部分数据进行压缩。这样一来，图块的数据就会呈现两部分，一部分是变化平滑的低频数据，另一部分是刚压缩过的高频部分，数值也变得差不多。而后再经过Zig-zig编排，数据就会呈现出连续几个值相同的的形式，比如23334551550000。这样一来，再经过RLE行程编码，就可以去掉连续值相同的冗余数据。

因为RLE在编码时，对相同的数值只编码一次，同时计算相同数值重复的次数，因此称为行程编码。而与RLE处于同级的DPCM，则主要是对图块与图块之间的差值进行编码。这样一来可以再次压缩数据，之后再通过霍夫曼编码或者算术编码，编码操作也就完成了。同样霍夫曼编码和算术编码，也可以单独写一篇文章出来。

2、P帧的基本编码原理

P帧也就是预测图像P，与I帧不同的是，它不仅要从空间上去除冗余数据，还要从时间冗余方面上着手，因为它是以在它之前出现的I帧作为参考对象来编码的。与I帧不同的是，预测图像P的编码是以16x16像素的宏块为基本编码单元的。对于P帧，为了表示它与前面I帧的关系，我们会一直用预测图像和参考图像这两个词。

其实很好想象，因为对预测图像编码，就是对它和参考图像直接的差值进行编码。所以我们只需要做到以下两点即可：

• 1、算出当前要编码的图像宏块，与参考图像宏块之间的差值
• 2、计算出宏块的移动矢量

比如下图：

这张图应该一目了然，时刻1中的人像，在时刻2移动到了图像右侧。这个过程中变化的，不只是人像的位置，因为人在移动的时候，会有其他的动作，比如低头、转头、仰头等动作。所以我们并不仅仅要计算出人像变化之后的位置，也就是移动矢量，还要计算出两个宏块之间的差值。

当然这两者在编码过程中，是有个先后关系的。比如我要计算出宏块的移动矢量，那我得找到参考图像中的宏块，在预测图像中的位置吧。而更进一步，那我怎么找到预测图像相对于参考图像中，图块的位置呢？答案是预测图像中的某个宏块，与参考图像中的这个宏块的差值最小，也即最佳匹配宏块。

这就引起了一系列的搜索算法，去预测图像中去找这个宏块，比如二维对数搜索法、三步搜索法、对偶搜索法。而对预测图像P的编码所引起的时间，则主要是执行这个搜索算法所占用的时间。

等找到最佳匹配宏块后，计算出差值和移动矢量，剩下的操作就和对I帧的编码一致了。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

最后，面试前该准备哪些资源复习？

其实客户端开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。

这里再分享一下我面试期间的复习路线：（以下体系的复习资料是我从各路大佬收集整理好的）

《Android开发七大模块核心知识笔记》

《960全网最全Android开发笔记》

《379页Android开发面试宝典》

历时半年，我们整理了这份市面上最全面的安卓面试题解析大全
包含了腾讯、百度、小米、阿里、乐视、美团、58、猎豹、360、新浪、搜狐等一线互联网公司面试被问到的题目。熟悉本文中列出的知识点会大大增加通过前两轮技术面试的几率。

《507页Android开发相关源码解析》

只要是程序员，不管是Java还是Android，如果不去阅读源码，只看API文档，那就只是停留于皮毛，这对我们知识体系的建立和完备以及实战技术的提升都是不利的。

真正最能锻炼能力的便是直接去阅读源码，不仅限于阅读各大系统源码，还包括各种优秀的开源库。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！**