Android的视频相关的开发,大概一直是整个Android生态,以及Android API中,最为分裂以及兼容性问题最为突出的一部分。摄像头,以及视频编码相关的API,Google一直对这方面的控制力非常差,导致不同厂商对这两个API的实现有不少差异,而且从API的设计来看,一直以来优化也相当有限,甚至有人认为这是“Android上最难用的API之一”
以微信为例,我们录制一个540p的mp4文件,对于Android来说,大体上是遵循这么一个流程:
大体上就是从摄像头输出的YUV帧经过预处理之后,送入编码器,获得编码好的h264视频流。
上面只是针对视频流的编码,另外还需要对音频流单独录制,最后再将视频流和音频流进行合成出最终视频。
这篇文章主要将会对视频流的编码中两个常见问题进行分析:
1.视频编码器的选择(硬编 or 软编)?
2.如何对摄像头输出的YUV帧进行快速预处理(镜像,缩放,旋转)?
视频编码器的选择
对于录制视频的需求,不少app都需要对每一帧数据进行单独处理,因此很少会直接用到MediaRecorder来直接录取视频,一般来说,会有这么两个选择:
1.MediaCodec
2.FFMpeg+x264/openh264
我们来逐个解析一下
一.MediaCodec(硬编)
MediaCodec是API 16之后Google推出的用于音视频编解码的一套偏底层的API,可以直接利用硬件加速进行视频的编解码。调用的时候需要先初始化MediaCodec作为视频的编码器,然后只需要不停传入原始的YUV数据进入编码器就可以直接输出编码好的h264流,整个API设计模型来看,就是同时包含了输入端和输出端的两条队列:
因此,作为编码器,输入端队列存放的就是原始YUV数据,输出端队列输出的就是编码好的h264流,作为解码器则对应相反。在调用的时候,Medi