Android最全音视频高手课05-H264直播讲解04编码与解码器流程,2024年最新大厂面试一般几轮

最后

如果你看到了这里,觉得文章写得不错就给个赞呗?如果你觉得那里值得改进的,请给我留言。一定会认真查询,修正不足。谢谢。

最后针对Android程序员,我这边给大家整理了一些资料,包括不限于高级UI、性能优化、移动架构师、NDK、混合式开发(ReactNative+Weex)微信小程序、Flutter等全方面的Android进阶实践技术;希望能帮助到大家,也节省大家在网上搜索资料的时间来学习,也可以分享动态给身边好友一起学习!

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

为什么说时间上的冗余是最大的呢?假设摄像头每秒抓取30帧,这30帧的数据大部分情况下都是相关联的。也有可能不止30帧的的数据,可能几十帧,上百帧的数据都是关联特别密切的。

对于这些关联特别密切的帧,其实我们只需要保存一帧的数据,其它帧都可以通过这一帧再按某种规则预测出来,所以说视频数据在时间上的冗余是最多的。

为了达到相关帧通过预测的方法来压缩数据,就需要将视频帧进行分组。那么如何判定某些帧关系密切,可以划为一组呢?我们来看一下例子,下面是捕获的一组运动的台球的视频帧,台球从右上角滚到了左下角。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

H264编码器会按顺序,每次取出两幅相邻的帧进行宏块比较,计算两帧的相似度。如下图:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此,上面这几帧就可以划分为一组。其算法是:在相邻几幅图像画面中,一般有差别的像素只有10%以内的点,亮度差值变化不超过2%,而色度差值的变化只有1%以内,我们认为这样的图可以分到一组。

在这样一组帧中,经过编码后,我们只保留第一帖的完整数据,其它帧都通过参考上一帧计算出来。我们称第一帧为IDR/I帧,其它帧我们称为P/B帧,这样编码后的数据帧组我们称为GOP

运动估计与补偿

在H264编码器中将帧分组后,就要计算帧组内物体的运动矢量了。还以上面运动的台球视频帧为例,我们来看一下它是如何计算运动矢量的。

H264编码器首先按顺序从缓冲区头部取出两帧视频数据,然后进行宏块扫描。当发现其中一幅图片中有物体时,就在另一幅图的邻近位置(搜索窗口中)进行搜索。如果此时在另一幅图中找到该物体,那么就可以计算出物体的运动矢量了。下面这幅图就是搜索后的台球移动的位置。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

通过上图中台球位置相差,就可以计算出台图运行的方向和距离。H264依次把每一帧中球移动的距离和方向都记录下来就成了下面的样子。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

运动矢量计算出来后,将相同部分(也就是绿色部分)减去,就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存,以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们把运动矢量与补偿称为帧间压缩技术,它解决的是视频帧在时间上的数据冗余。除了帧间压缩,帧内也要进行数据压缩,帧内数据压缩解决的是空间上的数据冗余。下面我们就来介绍一下帧内压缩技术。

帧内预测

人眼对图象都有一个识别度,对低频的亮度很敏感,对高频的亮度不太敏感。所以基于一些研究,可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧内预测技术。

H264的帧内压缩与JPEG很相似。一幅图像被划分好宏块后,对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

下面这幅图是对整幅图中的每个宏块进行预测的过程。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

帧内预测后的图像与原始图像的对比如下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

然后,将原始图像与帧内预测后的图像相减得残差值。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

再将我们之前得到的预测模式信息一起保存起来,这样我们就可以在解码时恢复原图了。效果如下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

经过帧内与帧间的压缩后,虽然数据有大幅减少,但还有优化的空间。

对残差数据做DCT

可以将残差数据做整数离散余弦变换,去掉数据的相关性,进一步压缩数据。如下图所示,左侧为原数据的宏块,右侧为计算出的残差数据的宏块。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

将残差数据宏块数字化后如下图所示:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

将残差数据宏块进行 DCT 转换。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

去掉相关联的数据后,我们可以看出数据被进一步压缩了。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

做完 DCT 后,还不够,还要进行 CABAC 进行无损压缩。

DCT原理大白话

这是第一帧画面:P1(我们的参考帧)

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这是第二帧画面:P2(需要编码的帧)

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

从视频中截取的两张间隔1-2秒的画面,和实际情况类似,下面我们进行几次运动搜索:

这是一个演示程序,鼠标选中P2上任意16x16的Block,即可搜索出P1上的 BestMatch 宏块。虽然车辆在运动,从远到近,但是依然找到了最接近的宏块坐标。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这是一个演示程序,鼠标选中P2上任意16x16的Block,即可搜索出P1上的 BestMatch 宏块。虽然车辆在运动,从远到近,但是依然找到了最接近的宏块坐标。

搜索演示2:空中电线交叉位置(上图P1,下图P2)

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

搜索演示3:报刊停的广告海报

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

同样顺利在P1中找到最接近P2里海报的宏块位置。

图片全搜索:根据P1和运动矢量数据(在P2中搜索到每一个宏块在P1中最相似的位置集合)还原出来的P2’,即完全用P1各个位置的宏块拼凑出来最像P2的图片P2’,效果如下:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

仔细观察,有些支离破碎对吧?肯定啊,拼凑出来的东西就是这样,现在我们用P2`和P2像素相减,得到差分图 D2 = (P2’ - P2) / 2 + 0x80:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

这就是之前支离破碎的 P2` 加上误差 D2之后变成了清晰可见的样子,基本还原了原图P2。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

由于D2仅仅占5KB,加上压缩过后的运动矢量不过7KB,所以参考P1我们只需要额外 7KB的数据量就可以完整表示P2了,而如果独立将P2用质量尚可的有损压缩方式独立压缩,则至少要去到50-60KB,这一下节省了差不多8倍的空间,正就是所谓运动编码的基本原理。

实际在使用中,参考帧并不一定是前面一帧,也不一定是同一个GOP的I帧,因为GOP间隔较长时,后面的图片离I帧变化可能已经很大了,因此常见做法是最近15帧中选择一帧误差最小的作为参考帧,虽然彩色画面有YUV三个分量,但是大量的预测工作和最有选择通常是根据Y分量的灰度帧进行判断的。

再者误差我们保存的是(P2-P2’)/2 + 0x80,实际使用时我们会用更有效率的方式,比如让[-64,64]之间的色差精度为1,[-255,-64], [64, 255] 之间的色差精度为2-3,这样会更加真实一些。

同时上文很多地方用的是直接lzma2进行简单存储,实际使用时一般会引入熵编码,对数据进行一定层次的整理然后再压缩,性能会好不少。

CABAC

总结

可以看出,笔者的工作学习模式便是由以下 「六个要点」 组成:

❝ 多层次的工作/学习计划 + 番茄工作法 + 定额工作法 + 批处理 + 多任务并行 + 图层工作法❞

希望大家能将这些要点融入自己的工作学习当中,我相信一定会工作与学习地更富有成效。

下面是我学习用到的一些书籍学习导图,以及系统的学习资料。每一个知识点,都有对应的导图,学习的资料,视频,面试题目。

**如:我需要学习 **Flutter的知识。(大家可以参考我的学习方法)

  • Flutter 的思维导图(无论学习什么,有学习路线都会事半功倍)

  • Flutter进阶学习全套手册

  • Flutter进阶学习全套视频

大概就上面这几个步骤,这样学习不仅高效,而且能系统的学习新的知识。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 4
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值