音视频基础知识

音视频基础知识

刚开始学习音视频方向，从网上搜集总结部分基础知识用于学习与理解

一、封装格式
音视频文件的后缀是它的封装格式，封装格式是将视频与音频数据打包成一个文件的规范
常见的封装格式有：avi flv mp4 rmvb mkv

经过解封装之后，可得到经过编码的视频数据与音频数据

二、视频编码
1 H.264（AVC 高级视频编码）

视频压缩通过减少和去除冗余视频数据的方式，达到有效发送和存储数字视频文件的目的。在压缩过程中，需要应用压缩算法对源视频进行压缩以创建压缩文件，以便进行传输和存储。
要想播放压缩文件，则需要应用相反的解压缩算法对视频进行还原，还原后的视频内容与原始的源视频内容几乎完全相同。

H.264的压缩方法:
1.分组:把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多。
2.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
3.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
4.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

I帧：关键帧，帧内编码，I帧画面完整保留，解码时只需本帧数据即可完成
P帧：差别帧，前向预测编码，P帧表示的是本帧与前一个I帧或P帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面
B帧：双向差别帧，双向预测编码，B帧表示的是本帧与前面一个I帧或P帧、后面一个的I帧或P帧的差别，解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，
通过前后帧画面与本帧数据的叠加取得最终的画面

2 H.265（HEVC 高效视频编码）

H.265标准与H264标准的区别：
1、H.265是新的编码协议，也即是H.264的升级版。H.265标准保留H.264原来的某些技术，同时对一些相关的技术加以改进。
新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。

2、同样的画质和同样的码率，H.265比H2.64 占用的存储空间要少理论50%。

3、H.264中每个宏块大小都是固定的16x16像素，而H.265的编码单位可以选择从最小的8x8到最大的64x64。

码率：码率一般指比特率，是表示单位时间内传送比特的数目。

宏块：一个编码图像首先要划分成多个块（4x4像素）才能进行处理，宏块由整数个块组成。宏块也分为I、P、B宏块。

3 JPEG
是用于连续色调静态图像压缩的一种标准。
图像数据之所以能被压缩，就是因为数据中存在着冗余。
图像数据的冗余主要表现为：
图像中相邻像素间的相关性引起的空间冗余；
图像序列中不同帧之间存在相关性引起的时间冗余；
不同彩色平面或频谱带的相关性引起的频谱冗余；
数据压缩的目的就是通过去除这些数据冗余来减少表示数据所需的比特数

1、标准JPEG格式：此类型在网页下载时只能由上而下依序显示图像，直到图像资料全部下载完毕，才能看到图像全貌。

2、渐进式JPEG：此类型在网页下载时，先呈现出图像的粗略外观后，再慢慢地呈现出完整的内容，而且存成渐进式JPG格式的文档比存成标准JPG格式的文档要来得小，所以如果要在网页上使用图像，可以多用这种格式。

3、JPEG2000：它是新一代的影像压缩法，压缩品质更高，并可改善在无线传输时，常因信号不稳造成马赛克现象及位置错乱的情况，改善传输的品质。

三、音频编码
1 AAC（高级音频编码）

AAC的音频编码格式分两种：ADIF（音频数据交换格式） ADTS（音频数据传输流）
ADIF:这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。
故这种格式常用在磁盘文件中。
ADIF:这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。

2 PCM（脉冲编码调制）

把一个时间连续、取值连续的模拟信号变换成时间离散、取值离散的数字信号后在信道中传输。脉冲编码调制就是对模拟信号先抽样，再对样值幅度量化、编码的过程。
特点：PCM信号未经过任何编码和压缩处理(无损压缩)。与模拟信号比，它不易受传送系统的杂波及失真的影响。动态范围宽，可得到音质相当好的效果。

抽样：对模拟信号进行周期性扫描，把时间上连续的信号变成时间上离散的信号。该模拟信号经过抽样后还应当包含原信号中所有信息，也就是说能无失真的恢复原模拟信号。

量化：把经过抽样得到的瞬时值将其幅度离散,即用一组规定的电平 ,把瞬时抽样值用最接近的电平值来表示. 一个模拟信号经过抽样量化后,得到已量化的脉冲幅度调制信号,它仅为有限个数值.

编码：用一组二进制码组来表示每一个有固定电平的量化值。量化是在编码过程中同时完成的，故编码过程也称为模/数变换，可记作A/D

3 G726

G.726可将64kbps的PCM信号转换为40kbps、32kbps、24kbps、16kbps的ADPCM信号，最为常用的方式是 32 kbit/s。
具体规定了一个64kbps的A-law或µ-law PCM信号是如何被转化为40, 32, 24或16 kbps 的 ADPCM 通道的。
在这些通道中，24和16kbps的通道被用于数字电路倍增设备(DCME)中的语音传输，而40kbps通道则被用于DCME中的数据解调信号。
G.726算法本质就是一个ADPCM，自适应量化算法，把64kbit/s压缩到32kbit/s

A-law与μ-law：即g711a与g711u，是ITU-T（国际电联电信标准局）定义的关于脉冲编码的压缩/解压缩算法