Android 音视频开发(六)： MediaCodec API 详解

在学习了Android 音视频的基本的相关知识，并整理了相关的API之后，我们应该对基本的音视频有一定的轮廓了。下面开始接触一个Android音视频中相当重要的一个API： MediaCodec。

 

一、MediaCodec API介绍

MediaCodec可以处理具体的视频流，主要有这几个方法：

• getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组 
• queueInputBuffer：输入流入队列 
• dequeueInputBuffer：从输入流队列中取数据进行编码操作 
• getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组 
• dequeueOutputBuffer：从输出队列中取出编码操作之后的数据 
• releaseOutputBuffer：处理完成，释放ByteBuffer数据

 

下图是MediaCodec数据流的简图：

 

从图中我们可以看到，视频流有一个输入队列，和输出队列，分别对应getInputBuffers和getOutputBuffers这两个方法获取这个队列，然后对于输入流这端有两个方法一个是queueInputBuffers是将视频流入队列，dequeueInputBuffer是从输入流队列中取出数据进行编解码操作，在输出端这边有一个dequeueOutputBuffer方法从输出队列中获取视频数据，releaseOutputBuffers方法将处理完的输出视频流数据ByteBuffer放回视频流输出队列中，再次循环使用。这样视频流输入端和输出端分别对应一个ByteBuffer队列，这些ByteBuffer可以重复使用，在处理完数据之后再放回去即可。 
所以这里看到MediaCodec类处理视频的时候可以接触到视频流数据的，这里比如我们如果有一些特殊需求，比如视频的叠加技术，添加字幕等就可以在这里处理了。同时MediaCodec有一个方法：createInputSurface可以设置视频源输入Surface类型，同时也是可以通过configure方法设置视频输出Surface类型。

 

2. 音视频编码之MediaCodec和MediaRecorder对比

Android中音视视频编码有两种方式，主要是两个核心的类，一个是MediaCodec和MediaRecorder，其中MediaCodec更偏向原生，而MediaRecorder偏向的上层封装。

MediaRecorder这个类相对于MediaCodec简单，因为他封装的很好，直接就是几个接口来完成视频录制，比如视频的编码格式，视频的保存路径，视频来源等，用法简单，但是有一个问题就是不能接触到视频流数据了，处理不了原生的视频数据了。所以在音视频技术上，我们使用更多的是MediaCodec，毕竟我们需要做的事情更多的是对视频数据做相应的处理，而不是仅仅完成了视频的编码而已。

附：关于MediaRecorder这个类，有一个对应的adb命令——adb screenrecord。这个类还有一个地方需要注意的就是他有一个方法：setVideoSource，可以设置视频来源，主要就两个来源：一个是来摄像头Camera，一个是Surface。