【无标题】

音视频基础总结

一、视频编码

通过指定的压缩技术，将某个视频格式文件转化成另一种视频格式文件。
主要有MPEG系列（由ISO组织开发）：MPEG1（VCD）、MPEG2（DVD）、MPEG4 AVC（正热门）。
H.26X系列（由ITU主导，侧重网络传输，只有视频编码）：H.261、H.262、H.263、H.264。

二、音频编码

ACC：专为声音数据设计的文件压缩格式。相比MP3，音质更佳，文件更小。但其属于有损编码。
MP3：动态影像专家压缩标准音频层面3。设计用来大幅度降低音频数据量。将时域波形信号转换为频域，并对不同频段的数据使用不同编码方式，可以达到1：10甚至1：12的压缩率。
AC3：提供6个独立声道，由5个全频域声道和1个超低声道组成，被称为5.1声道。

三、Android多媒体播放组件

MediaPlayer：播放控制
MediaCodec：音视频编解码
OMX：多媒体部分采用的编解码标准
StageFright：主要做了一个OMX层
AudioTrack：音频播放

四、常用的多媒体框架

VLC：Video LAN Client，一款自由、开源的跨平台多媒体播放器及框架
FFmpeg：多媒体解决方案，不是多媒体框架，广泛应用于多媒体开发
GStreamer：一套构建流媒体应用的开源多媒体架构

五、相关知识点

1. 帧率
   每秒显示的帧数（fps或Hz），表示图像处理器处理场时每秒更新的次数。高帧率可以提供流畅、逼真的画面。

2. 分辨率
   视频成像产品所形成的图像大小或尺寸。

3. 刷新率
   屏幕每秒画面倍刷新的次数。分为垂直刷新和水平刷新。通常指的是垂直刷新，表示屏幕上每秒重绘多少次。刷新率越高，图像越稳定。

4. 封装格式
   视频封装格式：MOV（QuickTime封装格式，苹果公司），MP4（国际通用的视频封装格式，占地小，画质清晰），WMV（微软视频格式磁盘空间占地小，通常小于MP4格式），FLV（形成极小的文件，加载速度极快，使网络观看视频文件成为可能，所以一般在网上观看的视频都是FLV格式的）
   音频封装格式：WAVE（微软公司开发的一种声音文件格式，在剪辑设备中比较稳定，占地空间和质量都大于MP3），MP3（常用音频的格式，质量的不如WAV，但是空间占地小，方便下载），APEAPE（无损压缩格式之一，可以更精炼的记录方式来缩减体积）

5. 码率
   也就是比特率，单位时间播放连续的媒体的比特数量。比特率越高，带宽消耗越多。
   文件大小（b）=码率（b/s）* 时长（s）
   码率越大，画质不一定更好，视频也不一定更流畅，视频质量与码率、编码算法都有关系。

6. DTS与PTS
   DTS：（Decode Time Stamp）用于表示读入内存中的比特流在什么时候开始送入编码器中进行解码
   PTS：（Presentation Time Stamp）用于度量解码后视频帧什么时候显示出来

7. 颜色空间模型
   YUV：Y表示亮度，UV表示色差
   RGB：通过3个颜色通道的变化以及相互叠加来得到各式各样的颜色

8. 视频帧
   I帧：表示关键帧，这一帧保留完整的画面，解码时只需本帧数据就可以完成
   P帧：表示这一帧和之前的一个关键帧的差别。解码时需要之前的画面叠加本帧定义的差别数据形成最终画面
   B帧：双向差别帧，记录本帧和前后帧的差别。解码时需要取得前后帧的画面数据与本帧叠加生成

9. 音频帧
   音频帧与编码格式相关。
   PCM：根据采样定律和采样精度就可以播放
   AMR：规定每20ms的音频为1帧，每一帧相互独立
   MP3：包含采样率、比特率等参数，音频数据帧个数由文件大小和帧长决定，每一帧长度可能不固定

10. 量化精度
    表示可以将模拟信号分成多少个等级，量化精度越高，音乐的声压振幅越接近原音乐。单位bit，CD的量化精度16bit，DVD的量化精度24bit

11. 采样率
    每秒音频采样点个数，单位Hz

12. 声道
    指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号。声道数为录制时的音源数量或回放时扬声器数量
    单声道：一个扬声器
    立体声道：将单声道扩展为左右对称的两个扬声器
    4声道：4个发音点，前左、前右、后左、后右
    4.1声道：在4声道上额外加了 低音炮
    5.1声道：源自4.1，将环绕声一分为二
    7.1声道：在5.1基础上，增加了中左和中右