iOS音视频~编码理论详述

一、为什么要进行视频编码

未经压缩的视频的数据量巨大，录制一分钟视频, 需要多大的空间来保存了?

1> 为了不让用户感受到卡顿效果, 1秒钟之内至少需要16帧画面(正常开发通常会采集30帧)，也就是编码设置的fps参数

2> 假如该视频是一个1280*720分辨率的视频(正常情况下会比这个大很多)

结果:128072016*60≈843.75M

一分钟的视频843M,如果保证播放不卡顿，则需要15M/S 的下载速度，如果使用蜂窝网络...

结论：1.如此大的传输数据量，现行带宽压力巨大，流量资费大，且存储数据量也极大，所以导致编码技术的产生

           2.视频采集完成后，需要先编码，再传输，在解码，再播放（重现）

 

二、为什么视频可以压缩编码？

采集到的视频源存在冗余信息，冗余信息分为以下三类：

1.空间冗余：图像相邻像素之间有较强的相关性

2.时间冗余：视频序列的相邻图像之间内容相似

3.视觉冗余：人的视觉系统对某些细节不敏感

4.其他冗余

空间冗余

空间冗余是指在同一张图像中，有很多像素点表示的信息是完全一样的，如果对每一个像素进行单独的存储，必然会非常浪费空间，也完全没有必要，此处部分存储的颜色色值相同，仅仅对应空间位置不同。

 

时间冗余

时间冗余是指多张图像之间，有非常多的相关性，由于一些小运动造成了细小差别。

我们可以看到两张图片相隔很近，彼此之间很多元素相同，如果对相同部分多次存储，则形成了冗余

如图：

视觉冗余

1.人类视觉系统HVS

2.对高频信息不敏感

3.对高对比度更敏感

4.对亮度信息比色度信息更敏感

5.对运动的信息更敏感

数字视频系统的设计应该考虑HVS的特点&#