Android音视频开发入门（1）基础概要，阿里Android开发面试解答

视频方面主要是：MPEG1(VCD)、MPEG2(DVD)、MPEG4(DVDRIP)、MPEG4 AVC(正热门)

音频方面主要是：MPEG Audio Layer1/2 、MPEG Audio Layer 3(MP3) 、MPEG-2 AAC 、MPEG-4 AAC等。

注：DVD音频是没有采用MPEG的

• H.26X系列

侧重网络传输，并且只有视频编码

包括：H.261、H.262、H.263+、H.263++、H.264(就是与MPEG4 AVC合作的结晶)

音频编码

---

常见的音频编码格式有 AAC、MP3、AC3

• AAC

一种专门为声音数据设计的文件压缩格式，与MP3不同，它采用了全新的算法进行编码，更加高效和高性价比。利用AAC格式，在感觉声音质量没有明显降低的前提下（并且音质比MP3更好），可使文件更加小巧。

缺点：有损压缩，与时下流行的APE、FLAC等无损压缩格式相比存在 “本质上”的差距。

• MP3

一种音频压缩技术。它被设计用来大幅度地降低音频数据量。利用MP3，将音乐以1：10甚至1：12的压缩率，压缩成容量较小的文件，但即使这样，用户听到重放的音质与最初的不被压缩的音质没有明显的差别。

为什么会这样呢？这就是MP3的技术特点：利用人耳对高频声音信号不敏感的特性，将时域波形信号转化成频域信号。并划分成多个频段，对不同的频段使用不同的压缩率，对高频信号使用大压缩率，低频信号使用小压缩率，保证信号不失真。这样就做到了抛弃了人耳听不到的高频部分，从而将声音用1：10甚至1：12的压缩率压缩。

• AC3

AC3广泛应用于5.1声道。其普及程度很高，以384~448kb/s的码率应用于激光唱片和DVD，也经常以640kb/s用的码率应用于电影院。AC3提供的环绕声系统由5个全频域声道和1个超低音声道组成，被称为5.1声道。5个全频域声道包括：左前、中央、右前、左后、右后。超低声道提供一些额外的低音信息，使一些场景的声音效果更好。

多媒体播放组件

---

Android的多媒体播放组件包含：

• MediaPlayer

播放控制

• MediaCodec

音视频编解码

• OMX

多媒体部分采用的编解码标准

• StageFright

一个框架，替代之前的OpenCore，主要做了一个OMX层，仅仅对OpenCore的omx-component部分做了引用。StageFright是在MediaPlayerService这一层加入的，和OpenCore是并列的。

在Android中是以共享库的形式存在的，其中的module—NuPlayer/AwesomePlayer可用来播放音视频

• AudioTrack

音频播放

常见的多媒体框架及解决方案

---

• VLC

一款自由、开源的跨平台多媒体播放机框架

• FFmpeg

多媒体解决方案，不是多媒体框架，广泛应用于音视频开发中

• GStreamer

一套构建流媒体应用的开源多媒体框架。

一些术语

---

1.帧率

Frame Rate用于测量显示帧的量度。 换句话所就是我们最熟知的FPS或者

《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》

【docs.qq.com/doc/DSkNLaERkbnFoS0ZF】 完整内容开源分享

HZ。

注：如果FPS超出了 显示器的刷新率，那么就算FPS很高，多出来的部分也会浪费了图像处理的能力，因为监视器是不可能以这么快的速度刷新的。

2.刷新率

屏幕每秒被刷新的次数，刷新率分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率。以Hz为单位，刷新率越高，图像就越稳定，对眼睛的影响就越小。刷新率越低，图像闪烁和抖动得就越厉害，眼睛疲劳越快。一般来说，如果能达到80Hz以上的刷新率，就可以完全消除图像的抖动感。

3.封装格式

把编码后的音视频以一定的格式封装到一个容器。封装格式有 MKV、AVI、TS等。

4.码率

也就是比特率。是单位时间播放连续的媒体（如压缩后的音频或者视频）的比特数量。比特率越高，带宽消耗越多。

码率（b/s） = 文件大小（b）/时长（s）

5.画质与码率

码率越大会导致画质越好、视频更流畅吗？答案是错误的

实际上 视频质量和 码率、编码算法都有关系。

6.DTS与PTS

• DTS（Decode Time Stamp）

主要用于标示读入内存中的比特流在什么时候开始送入解码器中进行解码

• PTS（Presentation Time Stamp）

主要用于度量解码后的视频帧什么时候被显示出来。

7.YUV与RGB

• YUV

欧洲电视系统所采用的一种颜色编码方法。Y代表量度，UV代表色差

• RGB

8.视频帧及音频帧

视频帧有 I、P、B

• I帧表示关键帧

• P帧表示这一阵和之前一个关键帧的差别

没有完整的画面数据，只有与前一阵的画面差别的数据

• B帧是双向差别帧

B帧几率的是本帧与前后帧的差别