【音视频】基础概念整理

视频播放器原理

对于本地视频文件则是省去解（网络）协议这一步，具体流程分析可以见FFMPEG使用博客中的介绍。

容器（Container）/文件（File）

也被称为多媒体的封装格式，就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中，也就是说仅仅是一个外壳，或者大家把它当成一个放视频轨和音频轨的文件夹也可以，说得通俗点，视频轨相当于饭，而音频轨相当于菜，封装格式就是一个碗，或者一个锅，用来盛放饭菜的容器。常见的封装格式有MP4、FLV、MKV等。

媒体流（Stream）

表示时间轴上的一段连续数据，如一段音频、视频或字幕都被称作一段媒体流。
媒体流可以是压缩的，也可以是非压缩的，压缩的数据需要关联特定的编解码器。一般情况下，压缩前的数据被称为Frame，压缩后的数据被称为Packet。

编解码器（Codec）

视频编解码器是指一个能够对数字视频进行压缩或者解压缩的程序或者设备，只要做软件，基本上接触的都是相机、录音机等设备采集到的数字信号，而不是模拟信号。编解码器以帧为单位实现原始数据和压缩数据之间的相互转换。分为有损压缩和无损压缩两种。
如下图从左到右表示编码过程，从右到左表示解码过程。

复用（Mux）

也常被称为封装，把不同的流按照某种容器（如MP4、FLV等）的规则组合放入容器的过程。

解复用（Demux）

也常被称为解封装，把不同的流从某种容器（如MP4、FLV等）中按规则拆分开的过程。

码率/比特率（BPS）

也叫数据率，表示经过压缩编码后的音视频数据每秒需要用多少个比特来表示，是一个用于描述视频/音频整体质量的参数。在视频文件中比特率用BPS表示，即Bits Per Second。如果我们知道一个流的码率和时长，就可以计算出输出文件的大小。
帧率（FPS）
也叫帧频率，表示视频文件中每秒的帧数目。FPS即Frames Per Second。

采样率（Sample Rate）

也被称为采样速度或采样频率，表示每秒从连续信号中提取并组成离散信号的采样个数，也就是一秒钟采样的次数，单位为Hz。外界的声音都是模拟信号，在数字设备中转化为由0、1表示的数字信号后被储存下来。

如上图所示，蓝色代表模拟音频信号，红色的点代表采样得到的量化数值。采样频率越高，红色的间隔就越密集，记录这一段音频信号所用的数据量就越大，同时音频质量也就越高。
根据奈奎斯特理论，采样频率只要不低于音频信号最高频率的两倍，就可以无损失地还原原始的声音。通常人耳能听到频率范围大约在20Hz～20kHz之间的声音，为了保证声音不失真，采样频率应在40kHz以上。
44.1kHz是专业音频中的最低采样率，也叫“CD级音质”(22.05kHz采样率为广播级音质)。更细化的还有96kHz，192kHz等等。

位深度

也叫位宽，上图中，每一个红色的采样点，都需要有一个具体的数值来表示大小，这个数值的数据类型大小可以是：4bit、8bit、16bit、32bit等等，位数越多，表示得就越精细，声音质量自然就越好（如3dB和3.1415926dB的精度差别）。当然，数据量也会成倍增大。
16bit被认为是专业音频领域里面最低的位深度标准，和44.1kHz的采样率一样，共同作为专业音频和消费产品的标准。位深度也直接关系到信号噪声比的大小，直接影响到所录制信号的整体动态范围

声道

声道指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。当人听到声音时，能对声源进行定位，那么通过在不同的位置设置声源，就可以造就出更好的听觉感受，如果配合影像进行音频位置的调整，则会得到更好的视听效果。常见的声道有：

1. 单声道，mono
2. 双声道，stereo，最常见的类型，包含左声道以及右声道
3. 2.1声道，在双声道基础上加入一个低音声道
4. 5.1声道，包含一个正面声道、左前方声道、右前方声道、左环绕声道、右环绕声道、一个低音声道，最早应用于早期的电影院
5. 7.1声道，在5.1声道的基础上，把左右的环绕声道拆分为左右环绕声道以及左右后置声道，主要应用于BD以及现代的电影院
   如下是一个双声道的音频系统：