音视频基础名词

视频篇

视频码率（kb/s）

视频文件在单位时间内使用的数据流量，也叫做码流率。码率越大，那么单位时间内采样率越大，数据流精度越高。

视频显示帧率（fps）

视频在单位时间内，显示的视频帧。通常人眼流畅的帧率是25帧。当帧率低于12帧时，人眼将会感觉到卡顿率。

视频分辨率

分辨率表示的是视频图片的大小

I帧B帧P帧

I帧：可以独立解码，编解码过程中，可以独立的进行，不需要参考其他的帧，I帧是GOP的第一帧，并且每一个GOP中只有一个I帧 I帧不需要考虑运动矢量。所以包含的信息量也是非常的大。
P帧：不可以独立解码，必须参考前面一帧（I帧或者P帧）才能独立解码。同时利用空间的相关性，减少量的使用
B帧：不可以独立解码，必须参考前面的I帧和后面的P帧才能正确解码，因此解码B帧的流程为，先解码I帧，再解码P帧，最后解码B帧。因此B帧保留的数据也相对来说比较小，大大提高了压缩倍率。B帧解码图如下所示：

GOP

指的就是两个I帧之间的间隔.。

视频压缩算法：

MPEG2 mpeg
h264 mpeg
h265 mpeg 主要是以ffmpeg为主 都是mpeg结尾

AVS 中国

VP8 google
VP9 google

音频篇

音频的基础

正如初中物理课本描述的一样，声音都是由波在空气中进行传播。所以我们在描述的时候，采用波来对音频进行描述。

频率

评率是周期的倒数，在此不过多的阐述。那为什么平时会有很多人说次声波，超声波的说法呢？因为人耳在接受音频波的时候是有一定范围的，具体范围如下图描述：

振幅

振幅主要是体现声音的大小，因此振幅越大，我们听到的声音也就越大，振幅示意图如下

数字模拟音频

众所周知计算机只能对数据进行处理，所以无法直接音频波进行使用，因此需要对音频进行数字模拟化。为了音频数字模拟化，需要经过三个步骤：
1、采样频率
2、采样量化
3、编码

采样频率

计算机无法对连续的波进行处理，只能对波转换成x，y轴坐标进行转换。所以在采样过程，使用数字进行对当前的波的振幅进行模拟。当然采样的频率越高越接近波本身的值，也就更贴近原声。
pcm（pulse code modulation）脉冲编码调制是人耳能听到的一种模拟信号。pcm是一种把声音从模拟信号转换成数字信号的技术。两者关系如下图所示：

根据Nyguist 采样定律，要从采样中完全恢复原始信号波形，采样频率必须至少是信号中最强的频率的两倍。前面我们提到，人耳听到的频率20H-20kHz，所以采样频率一般为44.1kHz，这样就能保证了声音到到了20kHz的时候也能被数字化，也就是说再数字化之后，人耳能听到的声音质量不会被降低。
比如常见的采样频率有以下几种：
22000（22kHz）无线广播一般采用此频率，
44100（44.1kHz）CD音质
48000（48kHz）数字电视，DVD采用的音质
96000（96kHz）蓝光，高清DVD
192000（192kHz）蓝光，高清DVD
当然，采样频率越过声音的质量越高

采样量化

采样是在离散的时间点上进行的，而采样值本身在计算机中也是离散的，采样值的精度取决于它用多少位来表示。例如8位量化可以表示256个值，而CD质量一般采用16位表示，它可以表示65536个值 范围可以到达【-32768，32768】。我们在音频传播中，如果网络比较好的情况下通常会采用16或者24位，但是在弱网的情况下，也有采用8位的，这主要看整体设计的决策选择。
结合上面的所述和下面的图所示可以得出量化的位数越高，那么还原后的声音质量也就越好，相反也就越差（也许只是听到一片点流声，在排查问题时，有时候也需要考虑一下）

常见名词

采样率（采样频率）：单位时间内（每秒）采样的点的个数。通常采样的的频率有：
22000（22kHz）无线广播一般采用此频率，
44100（44.1kHz）CD音质
48000（48kHz）数字电视，DVD采用的音质
96000（96kHz）蓝光，高清DVD
192000（192kHz）蓝光，高清DVD
当然，采样频率越过声音的质量越高

采样精度（采样深度）：每个样本点的大小，通常使用的大小为8bit，16bit，24bit。
通道数：单声道，双声道，四声道，5.1声道（电影院的环绕立体声）

比特率

单位时间内（每秒）传输的bit数，单位为bps（bit per second）间接衡量声音质量的一个标准
没有压缩的音频数据比特率=采样率x采样精度x通道数

码率

压缩后的音频数据的比特率（其实和比特率的区别不是很大，主要是指压缩后的），常见的码率：
96kbps： FM质量的音频
128-160kbps：一般质量的音频
192kpbs：cd质量的音频
256-320kbps：高质量的音频
注意：码率越大，压缩效率越低，音质越好，压缩后数据越大。码率=音频文件大小（bit）/时长。
特别注意：低码率转为高码率除了心里安慰，没有其他实质意义。

帧

每次传输到编码的采样单元，比如mp3 通常是1152 采样点作为一个采样单元，aac通常采用1024作为采样点作为一个编码单元。（在调用库的时候需要注意采用多少的作为采样单元）

帧长

可以指每帧播放持续的时间，每帧持续时间（秒） = 每帧采样点数/采样频率（HZ） 比如mp3 48k 1152 ，那么计算公式 1152/48000 = 0.024秒
也可以指压缩后每帧的数据长度
注意：所以讲帧长的时候需要注意的它的使用场景

存储

交错模式：数字音频信号存储方式。数据以连续的方式存放。例如
第一帧：LRLRLRLRLRLR 第二帧 LRLRLRLRLR ……
非交错模式：先存完（一帧，一帧，一帧，重要事情说三遍）左声道数据再存一帧右声道的数据，可以理解成两帧合成一帧再处理。例如
第一帧LLLLLL…… 第二帧RRRRR…… 以此类推