Android音视频开发（1），程序员进阶

通过上图中台球位置相差，就可以计算出台图运行的方向和距离。H264依次把每一帧中球移动的距离和方向都记录下来就成了下面的样子。

运动矢量计算出来后，将相同部分（也就是绿色部分）减去，就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存，以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示：

我们把运动矢量与补偿称为帧间压缩技术，它解决的是视频帧在时间上的数据冗余。除了帧间压缩，帧内也要进行数据压缩，帧内数据压缩解决的是空间上的数据冗余。下面我们就来介绍一下帧内压缩技术。

帧内预测

人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以基于一些研究，可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧内预测技术。

H264的帧内压缩与JPEG很相似。一幅图像被划分好宏块后，对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。

下面这幅图是对整幅图中的每个宏块进行预测的过程。

帧内预测后的图像与原始图像的对比如下：

然后，将原始图像与帧内预测后的图像相减得残差值。

再将我们之前得到的预测模式信息一起保存起来，这样我们就可以在解码时恢复原图了。效果如下：

![](https://img-blog.csdnimg.cn/img_convert/de8f25f5b5b195eba3640c3c3a9e5b40.
png)

经过帧内与帧间的压缩后，虽然数据有大幅减少，但还有优化的空间。

对残差数据做DCT

可以将残差数据做整数离散余弦变换，去掉数据的相关性，进一步压缩数据。如下图所示，左侧为原数据的宏块，右侧为计算出的残差数据的宏块。

将残差数据宏块数字化后如下图所示：

将残差数据宏块进行 DCT 转换。

去掉相关联的数据后，我们可以看出数据被进一步压缩了。

做完 DCT 后，还不够，还要进行 CABAC 进行无损压缩。

CABAC

上面的帧内压缩是属于有损压缩技术。也就是说图像被压缩后，无法完全复原。而CABAC属于无损压缩技术。

无损压缩技术大家最熟悉的可能就是哈夫曼编码了，给高频的词一个短码，给低频词一个长码从而达到数据压缩的目的。MPEG-2中使用的VLC就是这种算法，我们以 A-Z 作为例子，A属于高频数据，Z属于低频数据。看看它是如何做的。

CABAC也是给高频数据短码，给低频数据长码。同时还会根据上下文相关性进行压缩，这种方式又比VLC高效很多。其效果如下：

现在将 A-Z 换成视频帧，它就成了下面的样子。

从上面这张图中明显可以看出采用 CACBA 的无损压缩方案要比 VLC 高效的多。

小结

---

至此，我们就将H264的编码原理讲完了。本篇文章主要讲了以下以点内容：

1. 简音介绍了H264中的一些基本概念。如I/P/B帧， GOP。

2. 详细讲解了H264编码的基本原理，包括：

• 宏块的划分

• 图像分组

• 帧内压缩技术原理

• 帧间压缩技术原理。

• DCT

• CABAC压缩原理。

最后

---

大家都知道要入门音视频要学习音视频录制，编码，处理，但是具体不知道怎么做。我自己在入门的时候也一样，靠着搜索引擎自己一点一点的积累，在这里当然要谢谢在该领域无私奉献的大佬们。

下面是我整理的学习路线，相信我，如果你认真学完了，你一定会成为音视频人才招聘市场的香饽饽～～

一、初级入门篇：

一、绘制图片

1. ImageView 绘制图片

2. SurfaceView 绘制图片

3. 自定义 View 绘制图片

二、AudioRecord API详解

三、使用 AudioRecord 实现录音，并生成wav

• 创建一个AudioRecord对象

• 初始化一个buffer

• 开始录音

• 创建一个数据流，一边从AudioRecord中读取声音数据到初始化的buffer，一边将buffer中数据导入数据流。

• 关闭数据流

• 停止录音

四、用 AudioTrack 播放PCM音频

1.AudioTrack 基本使用

• MODE_STATIC模式

• MODE_STREAM模式

2.AudioTrack 详解

• 音频流的类型

• Buffer分配和Frame的概念

• AudioTrack构造过程

3. AudioTrack 与 MediaPlayer 的对比

• 区别

• 联系

• SoundPool

五、使用 Camera API 采集视频数据

1.预览 Camera 数据

2.取到 NV21 的数据回调

六、使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件

1.MediaExtractor API介绍

2.MediaMuxer API介绍

3.使用情境

七、MediaCodec API 详解

---

1.MediaCodec 介绍

2.MediaCodec API 说明

3.MediaCodec 流控

• 流控基本概念

• Android 硬编码流控

• Android 流控策略选择

由于文章篇幅受限，剩余内容过多，文中插图有限，下文只能截图目录展示：

所有知识点详细内容都整理在了开源项目【GitHub】,有需要的可以自取。

二、中级进阶篇：

• Android OpenGL ES 开发（一）: OpenGL ES 介绍

• Android OpenGL ES 开发（二）: OpenGL ES 环境搭建

• Android OpenGL ES 开发（三）: OpenGL ES 定义形状

• Android OpenGL ES 开发（四）: OpenGL ES 绘制形状

• Android OpenGL ES 开发（五）: OpenGL ES 使用投影和相机视图

• Android OpenGL ES 开发（六）: OpenGL ES 添加运动效果

• Android OpenGL ES 开发（七）: OpenGL ES 响应触摸事件

• Android OpenGL ES 开发（八）: OpenGL ES 着色器语言GLSL

• Android OpenGL ES 开发（九）: OpenGL ES 纹理贴图

• Android OpenGL ES 开发（十）: 通过GLES20与着色器交互

• 使用 OpenGL 显示一张图片

• GLSurfaceviw 绘制 Camera 预览画面及实现拍照

• 使用OpenGL ES 完成视频的录制，并实现视频水印效果

高级探究篇：

• 深入学习音视频编码，如H.264，AAC，研究使用开源编解码库，如x.264，JM 等

• 深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4

• 深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等

• 将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器

• 将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能

• 将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能

音视频编解码技术

• 音视频编解码技术（一）：MPEG-4/H.264 AVC 编解码标准

• 音视频编解码技术（二）：AAC 音频编码技术

流媒体协议

• 流媒体协议（一）：HLS 协议

• 流媒体协议（二）：RTMP协议

多媒体文件格式

• 多媒体文件格式（一）：MP4 格式

• 多媒体文件格式（二）：FLV 格式

• 多媒体文件格式（三）：M3U8 格式

• 多媒体文件格式（四）：TS 格式

• 多媒体文件格式（五）：PCM / WAV 格式

FFmpeg 学习记录