关于Android MediaCodec 的内容

最新推荐文章于 2024-03-18 10:39:24 发布

我是个大bug

最新推荐文章于 2024-03-18 10:39:24 发布

阅读量3.8k

点赞数 2

文章标签： android 编码视频流 MediaCodec

原文：http://bigflake.com/mediacodec/

MediaCodec是一个可以对音视频数据进行编码和解码的Android类，本文给出代码范例并解答常见问题。

概述（可忽略）

Mediacodec类在Android 4.1（API 16）开始出现，目的是为了能够直接访问设备自带的编译码器，所以它提供的接口比较原始（raw），虽然Java和C++都有MediaCodec这个类，但Java的更常见。

在Android 4.3（API 18），MediaCodec新增了通过Surface对象提供输入的途径（createInputSurface），这样就可以由摄像头或OpenGL ES提交数据。同时Android 4.3 也是第一个在CTS（清除发送协议）下进行测试的版本，

Android 4.3同样介绍了新类MediaMuxer，MediaMuxer能够输出AVC格式（一种原始H.264基本流），不管有没有音频数据，AVC格式都可以在转换成MP4格式。

基本用法

MediaCodec的使用遵循一个基本模式：

1.创建和配置MediaCodec对象

2.进行以下循环：

如果一个输入缓冲区准备好：

读取部分数据，复制到缓冲区

如果一个输出缓冲区准备好：

复制到缓冲区

3.销毁MediaCodec对象

一个MediaCodec对象可以对特定类型的数据（MP3音频或H.264视频）进行编码或解码。因为是在原始数据上操作，所以任何文件头（比如ID3 tags)必须被剔除，MediaCodec不与任何更高层次的内容交互，所以无法通过扬声器播放音频或者从网络接收视频流。它只将缓冲区数据读入，再输出到缓冲区。MediaCodec可以把大部分的外层数据去掉。

有些编解码器对Buffer非常挑剔。比如，Buffer必须满足特定的内存对其方式，或者某个最值尺寸，或者同时满足几点。为了更强的兼容性，编解码器从应用程序获取分配Buffer的权限。所以，不是装有数据的Buffer直接给MediaCodec，而是想MediaCodec请求一个Buffer，再把数据拷进去。

这样好像和“zero-copy”原则相违背，但其实在大多数情况下并不需要拷贝，因为编译码器并不是非得拷贝或调整数据来满足要求（What？）。在某些情况下，你可以直接使用那个Buffer，比如直接从硬盘或网络读取数据到Buffer，所以拷贝不是必须的（这不就是拷贝吗？）

MediaCodec的输入必须处理成特定的格式。H264视频编码的时候输入就是一帧数据，H264解码指的就是一个NAL单元。但你不可能一次只提交单个数据或数据在需要处理的时候才出现（待商榷），这样看起来，输入更像是一个流。实际上，编解码器在输出前同时拥有多个Buffer。

强烈推荐从下面的例子开始学习，而不是通过这篇文档（毛？）。