Android MediaCodec 简明教程（五）：使用 MediaCodec 编码 ByteBuffer 数据，并保存为 MP4 文件

最新推荐文章于 2024-09-13 09:56:59 发布
最新推荐文章于 2024-09-13 09:56:59 发布
阅读量4.8k 收藏 21
点赞数 9
分类专栏： 音视频 文章标签： android 音视频 MediaCodec
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiwei9363/article/details/136412810
版权

系列文章目录

  1. Android MediaCodec 简明教程（一）：使用 MediaCodecList 查询 Codec 信息，并创建 MediaCodec 编解码器
  2. Android MediaCodec 简明教程（二）：使用 MediaCodecInfo.CodecCapabilities 查询 Codec 支持的宽高，颜色空间等能力
  3. Android MediaCodec 简明教程（三）：详解如何在同步与异步模式下，使用MediaCodec将视频解码到ByteBuffers，并在ImageView上展示
  4. Android MediaCodec 简明教程（四）：使用 MediaCodec 将视频解码到 Surface，并使用 SurfaceView 播放视频

文章目录

前言

前面我们了解了 MediaCodec 解码的具体使用流程，包括异步和同步模式、解码到 ByteBuffers 或者 Surface。本章开始，我们将开始学习如何使用 MediaCodec 进行编码。

与解码类似，MediaCodec 编码的输入支持 ByteBuffer 或者 Surface。 遵循循序渐进的原则，我们从最简单的一种情况开始讲起：MediaCodec 编码过程中，输入的图像数据存放在 ByteBuffer 中。

编码流程概述

首先，我们需要创建对应的 MediaCodec 编码器，并进行正确的 configure。这一步中，你要考虑一些编码的参数，包括视频的分辨率、帧率、比特率、color format 等。其中 color format 非常重要，它描述了送给编码器的数据是如何排列的，编码器根据这个属性来读取数据。

接着，为了将编码后的数据保存为 MP4 文件，我们创建 MediaMuxer 来进行封装的工作。

当 MediaCodec 编码器和 MediaMuxer 准备好后，就能够开始编码了：将视频数据送给 Codec，Codec 将编码后的数据吐给 MediaMuxer，Muxer 将这些压缩后的数据写入本地文件。一切都很简单。

接下来我将对具体的代码进行说明，本文完整代码你可以在 EncodeUsingBuffersActivity 找到，该代码使用异步模式进行编码，异步模式更加简洁，我更喜欢这种模式。如果你想看同步模式是如何实现的，可以参考 CTS - EncodeDecodeTest 中的 doEncodeDecodeVideoFromBuffer 函数。

MediaCodec 异步模式编码

创建编码器

val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC
val format = MediaFormat.createVideoFormat(mimeType, videoWidth, videoHeight)
val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)
val encodeCodecName = codecList.findEncoderForFormat(format)
val encoder = MediaCodec.createByCodecName(encodeCodecName)
  1. val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC：定义了一个字符串常量mimeType，其值为MediaFormat.MIMETYPE_VIDEO_AVC，表示我们将使用的是AVC（即H.264）编码格式。
  2. val format = MediaFormat.createVideoFormat(mimeType, videoWidth, videoHeight)：创建一个MediaFormat对象，该对象描述了我们想要的视频格式，包括编码格式、视频宽度和高度。
  3. val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)：获取系统中所有常规（非硬件加速）的编解码器列表。
  4. val encodeCodecName = codecList.findEncoderForFormat(format)：在编解码器列表中查找能够处理我们指定格式的编码器。
  5. val encoder = MediaCodec.createByCodecName(encodeCodecName)：通过编码器的名称创建一个MediaCodec对象，这个对象就是我们的视频编码器。

当然，也可以更简单：

val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC
val encoder = MediaCodec.createEncoderByType(encodeCodecName)

设置编码回调

encoder.setCallback(object: MediaCodec.Callback(){
    override fun onInputBufferAvailable(codec: MediaCodec, index: Int) {
        //
    }
    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        //
    }
    override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    	//
    }
    override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    	//
    }
})

MediaCodec类中的setCallback()方法用于设置一个回调接口，这个接口将在编解码操作的各个阶段被调用。这个方法接收一个MediaCodec.Callback对象作为参数。

MediaCodec.Callback是一个抽象类，它定义了四个方法：

  1. onInputBufferAvailable(MediaCodec codec, int index)：当输入缓冲区可用时，此方法被调用。参数index指示了哪个输入缓冲区已经变得可用。

  2. onOutputBufferAvailable(MediaCodec codec, int index, MediaCodec.BufferInfo info)：当输出缓冲区可用时，此方法被调用。参数index指示了哪个输出缓冲区已经变得可用，info包含了关于这个缓冲区的元数据，如其包含的数据的大小，时间戳等。

  3. onError(MediaCodec codec, MediaCodec.CodecException e)：当编解码器发生错误时，此方法被调用。参数e是一个MediaCodec.CodecException对象，包含了关于错误的详细信息。

  4. onOutputFormatChanged(MediaCodec codec, MediaFormat format)：当输出格式发生变化时，此方法被调用。参数format是一个MediaFormat对象，包含了新的输出格式。

回调中的代码是我们具体的编码逻辑，这个放后面详细讲。

编码器 Configure

val colorFormat = MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible
assert(encoder.codecInfo.getCapabilitiesForType(mimeType).colorFormats.contains(colorFormat))
format.setInteger(MediaFormat.KEY_COLOR_FORMAT, colorFormat)
format.setInteger(MediaFormat.KEY_BIT_RATE, videoBitrate)
format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE)
format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL)
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
  1. colorFormat 选择 COLOR_FormatYUV420Flexible 这是一种最常用的像素格式。
  2. 接下来这行代码是一个断言，它检查编码器是否支持上面定义的颜色格式。为了确保我们 Demo 的简洁，我假定你的机器是一定支持 COLOR_FormatYUV420Flexible 的，否则我需要写额外的代码来兼容，这会使得代码变得负责。
  3. 接着，设置了颜色格式、比特率、帧率等重要的编码信息。
  4. 最后调用 configure 函数，这行代码用上面设置的参数来配置编码器，最后一个参数指定了这是一个编码器，而不是解码器。

创建 Muxer

val outputDir = externalCacheDir
val outputName = "test.mp4"
val outputFile = File(outputDir, outputName)
muxer = MediaMuxer(outputFile.absolutePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)

开始编码的工作

现在我们有 encoder 和 muxer 组件，要开始编码视频的任务，需要启动这两个组件，但两者启动时机有差别。

首先，我们先启动 encoder

encoder.start()

那么 muxer 何时启动呢？在启动 muxer 之前我们需要明确知道 output format 的信息。

在使用MediaCodec进行编码时，onOutputFormatChanged 方法会在开始编码后首次调用。这是因为在开始编码后，MediaCodec 会根据你设置的参数（如分辨率、比特率等）来确定最终的输出格式。一旦输出格式确定，就会触发onOutputFormatChanged方法。

这个方法的调用表示编码器的输出格式已经准备好，你可以获取到这个新的输出格式，并用它来配置你的MediaMuxer。这是必要的，因为MediaMuxer需要知道它正在混合的音频和视频的具体格式。

基于上述原因，在异步模式下我们可以在 onOutputFormatChanged 回调函数中启动 muxer：

override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    videoTrackIndex = muxer.addTrack(format)
    muxer.start()
}

循环地编码视频帧

让我们来看回调函数中的具体逻辑，这些逻辑表明了我们是如何进行编码的

override fun onInputBufferAvailable(codec: MediaCodec, index: Int) {
    val pts = computePresentationTime(generateIndex)
    // input eos
    if(generateIndex == NUM_FRAMES)
    {
        codec.queueInputBuffer(index, 0, 0, pts, MediaCodec.BUFFER_FLAG_END_OF_STREAM)
    }else
    {
        val frameData = ByteArray(videoWidth * videoHeight * 3 / 2)
        generateFrame(generateIndex, codec.inputFormat.getInteger(MediaFormat.KEY_COLOR_FORMAT), frameData)
        val inputBuffer = codec.getInputBuffer(index)
        inputBuffer.put(frameData)
        codec.queueInputBuffer(index, 0, frameData.size, pts, 0)
        generateIndex++
    }
}
override fun onOutputBufferAvailable(
    codec: MediaCodec,
    index: Int,
    info: MediaCodec.BufferInfo
) {
    // output eos
    val isDone = (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0
    if(isDone)
    {
        outputEnd.set(true)
        info.size = 0
    }
    if(info.size > 0){
        val encodedData = codec.getOutputBuffer(index)
        muxer.writeSampleData(videoTrackIndex, encodedData!!, info)
        codec.releaseOutputBuffer(index, false)
    }
}
override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    e.printStackTrace()
}
override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    //...
}

首先看 onInputBufferAvailable 回调：

  1. val pts = computePresentationTime(generateIndex)：这行代码计算了当前帧的显示时间，通常是根据帧率和当前帧的索引来计算的。
  2. if(generateIndex == NUM_FRAMES)：这行代码检查是否已经处理完所有的帧。如果是，那么就需要向编码器发送一个表示输入结束的标志。
  3. codec.queueInputBuffer(index, 0, 0, pts, MediaCodec.BUFFER_FLAG_END_OF_STREAM)：这行代码向编码器的输入队列中添加一个空的缓冲区，并设置了一个表示输入结束的标志。这告诉编码器不会有更多的数据输入了。
  4. val frameData = ByteArray(videoWidth * videoHeight * 3 / 2)：这行代码创建了一个字节数组，用于存储一帧的数据。这里假设的是YUV420格式的数据，所以大小是宽度乘以高度的1.5倍。
  5. generateFrame(generateIndex, codec.inputFormat.getInteger(MediaFormat.KEY_COLOR_FORMAT), frameData)：这行代码生成了一帧的数据。
  6. val inputBuffer = codec.getInputBuffer(index)：这行代码获取了编码器的一个输入缓冲区。
  7. inputBuffer.put(frameData)：这行代码将生成的帧数据放入输入缓冲区。
  8. codec.queueInputBuffer(index, 0, frameData.size, pts, 0)：这行代码将填充了数据的输入缓冲区添加到编码器的输入队列中。
  9. generateIndex++：这行代码将帧的索引加一，准备处理下一帧的数据。

需要说明的是，我们使用 generateFrame 来生成 YUV 数据，而不是从某个图片或者视频读取，这是为了示例代码更简单。这部分代码参考了 CTS - EncodeDecodeTest 中的代码。生成的视频如下：

onOutputBufferAvailable 回调逻辑：
11. val isDone = (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0：这行代码检查编码器是否已经处理完所有的输入数据并生成了所有的输出数据。如果是，那么isDone会被设置为true。
12. if(isDone) {…}：这个if语句检查是否已经完成了所有的编码工作。如果是，那么就设置outputEnd为true，表示输出结束，并将info.size设置为0，表示没有更多的输出数据。
13. if(info.size > 0){…}：这个if语句检查是否有输出数据。如果有，那么就处理这些数据。
14. val encodedData = codec.getOutputBuffer(index)：这行代码获取了编码器的一个输出缓冲区，这个缓冲区包含了编码后的数据。
15. muxer.writeSampleData(videoTrackIndex, encodedData!!, info)：这行代码将编码后的数据写入到媒体混合器中。这里的videoTrackIndex是视频轨道的索引，encodedData是编码后的数据，info包含了这些数据的元信息，如显示时间、大小等。
16. codec.releaseOutputBuffer(index, false)：这行代码释放了编码器的输出缓冲区，让编码器可以继续使用这个缓冲区来存储新的输出数据。这里的false表示不需要将这个缓冲区的数据显示出来，因为我们是在编码数据，而不是播放数据。

等待编码结束，释放资源

while (!outputEnd.get())
{
    Thread.sleep(10)
}
encoder.stop()
muxer.stop()
encoder.release()
  1. 在编码线程中，我们等等编码结束，outputEnd 是退出的标志位
  2. 停止 encoder 和 muxer，接着调用 release 方法释放 encoder 资源

总结

本文介绍 MediaCodec 使用异步模式编码的各种细节，并提供了完整的示例代码，在示例中我们生成 YUV 数据，并配合 MediaMuxer 将编码后的数据保存到本地 MP4 文件。

参考

芥末的无奈
关注
专栏目录
android opencv 调用硬编码mediacodec保存mp4
jacke121的专栏
08-22 1109
android opencv 调用硬编码
MediaCodec编码
qw_stone的博客
11-15 1713
原因：由于涉及到yuv的编码故使用android自带的MediaCodec模块进行硬件编码 概况：通过获取编码设备信息创建编码对象，然后设置编码参数，通过输入输出缓冲区进行数据的传递和读取。 流程如下： 首先获取当前设备支持的编解码设备信息：首先获取codc个数，然后判断是否是编码codec. m_codeccount = MediaCodecList.getCodecCount();...
Android APP 音视频（01）MediaCodec解码H264码流
wangdsh的博客
07-23 2271
H.264，也被称为MPEG-4 AVC（Advanced Video Coding），是一种广泛使用的数字视频压缩标准，主要用于视频编码。H.264标准由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）共同开发，旨在提供比之前的视频编码标准更高的数据压缩效率。H.264是一种基于块的编码技术，它将视频帧分为多个宏块（Macroblocks，MBs），每个宏块包含亮度信息和色度信息。帧类型，I帧（Intra-coded frames）
Android硬编解码接口MediaCodec使用完全解析（一）
热门推荐
03-16 3万+
0、本文概述 MediaCodec是android api 16以后开放的硬编解码接口，英文文档参照这个链接，中文翻译可以参考这个链接。本文主要记录的是如何使用MediaCodec对视频进行编解码，最后会以实例的方式展示如何将Camera预览数据编码成H264，再把编码后的h264解码并且显示在SurfaceView中。本例不涉及音频的编解码。 1、MediaCodec编码视频 使用MediaCo...
Android系统编码MediaCodec
最新发布
轻口味的专栏
09-13 1250
除了使用MediaCodec进行编码之外，另外一种比较流行的方案就是使用ffmpeg+x264/openh264进行软编码，ffmpeg是用于一些视频帧的预处理。这里主要是使用x264/openh264作为视频的编码器。
去抖音面试被问到硬编码与软编码区别，如何选取硬编与软编？
Android_SE的博客
09-11 7492
Android的视频相关的开发，大概一直是整个Android生态，以及Android API中，最为分裂以及兼容性问题最为突出的一部分。摄像头，以及视频编码相关的API，Google一直对这方面的控制力非常差，导致不同厂商对这两个API的实现有不少差异，而且从API的设计来看，一直以来优化也相当有限，甚至有人认为这是“Android上最难用的API之一” 以微信为例，我们录制一个540p的mp...
MediaCodec视频编码H264流程及参考demo
分享音视频技术
11-09 2497
本文则讲解使用MediaCodec进行视频编码的流程，主要通过一个例子，从摄像头采集数据，并将数据编码为h264文件。
一文搞懂 Android 音视频编解码器 MediaCodec
weixin_46056189的博客
05-15 3825
一文搞懂 Android 音视频编解码器 MediaCodec，介绍了MediaCodec的流程和基本用法。
安卓视频编解码之mediacodec
chanimei_11的博客
05-17 1623
编码：相当于压缩数据，把这些原始YUV格式数据编码为.h264或者.h265等类型数据，然后利用mediamuxer把音频和视频数据最终合成mp4等视频类型。 解码就是把.h264的数据解码为YUV等原始格式数据。 硬编码和软编码： 硬编码：用设备gpu去实现编解码，这样可以减轻cpu压力 软编码：让cpu来进行编解码，在c层代码来进行编解码。 软硬编码对比：硬编速度快，且系统自带不需要引入外部的库，硬编的压缩率比较低。对于软编码来说，虽然速度慢，但压缩率比较高。 1 MediaCodec简介 安卓提供..
android MediaCodec 实现h264硬编解码全过程
05-27
MediaCodec 实现h264硬编解码全过程，视频数据从摄像头读出 yv12格式，转换为I420，投递给encoder,再从encoder取出编码后的h264数据投递给decoder后显示到surfaceView; 实现了udp将h264数据发送到指定主机，可通过vlc播放; 备有可以读取本地264文件流投递给解码器播放； 小米 4.4.2 测试通过.
Android MediaCodec 编码使用介绍
superjaingchao的专栏
02-24 1662
编码篇：1、获取编解码器信息首先我们需要获取Codec的信息，通过MediaCodecList这个类来实现获取到MediaCodecInfo，代码示例如下：i++) {if (!continue;j++) {这里我们需要设置mimeType,这是一个字符串比如我们需要设置avc格式的视频那么我们可以将其设置为然后选择合适我们的编码器2、设置编码参数设置编码参数通过mediaFormat来实现，代码·示例如下：首先创建MediaFormat实例。
Android音频视频硬编码和解码_MediaCodec
12-26
Android音频视频硬编码和解码_MediaCodec，采用系统自带的编码器和解码器MediaCodec，研究中遇到很多坑，在此记录下来，方便自己和朋友们查看。
MediaCodec硬编码实现手机录屏功能，包括实时添加动态时间水印。
11-18
MediaCodec硬编码实现手机录屏功能，包括实时添加动态时间水印,真实项目中抽取出来的。
MediaCodec编解码
02-05
摄像头采集视频，通过MediaCodec编解码，SurfaceView显示
MediaCodecExample,android mediacodec示例.zip
10-10
使用android mediacodec创建一个示例。
Android：MediaCodeC硬编码解码视频，并将视频帧存储为图片文件
HappyAndroidi的博客
04-17 4188
好久不见，AiLo肥来了！ 原文地址 原创文章，转载请联系作者 醉拍春衫惜旧香，天将离恨恼疏狂。 年年陌上生秋草，日日楼中到夕阳。 目的 MediaCodeC搭配MediaExtractor将视频完整解码 视频帧存储为JPEG文件 使用两种方式达成 硬编码输出数据二次封装为YuvImage，并直接输出为JPEG格式文件 硬编码搭配Surface，用OpenGL封装为RGBA数据格式，再利用...
Android MediaCodec 硬编码 H264 文件
2401_84132589的博客
04-22 443
对于程序员来说，要学习的知识内容、技术有太多太多，要想不被环境淘汰就只有不断提升自己，从来都是我们去适应环境，而不是环境来适应我们！最后，我再重复一次，如果你想成为一个优秀的 Android 开发人员，请集中精力，对基础和重要的事情做深度研究。对于很多初中级Android工程师而言，想要提升技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。整理的这些架构技术希望对Android开发的朋友们有所参考以及少走弯路，本文的重点是你有没有收获与成长，其余的都不重要，希望读者们能谨记这一点。
Android Multimedia实战（五）MediaCodec编码解码实例解析
WangShuo的专栏
04-28 4779
MediaCodec概述MediaCodec是一个Android原生的编解码器。 简单的来说，MediaCodec可以把摄像头采集的数据流编码为H264格式，这个过程是压缩过程。也可以把H264格式解码在surface类的控件上显示。我们先来看一下Android系统中解码器的命名，软解码器通常是以OMX.google开头的。硬解码器通常是以OMX.[hardware_vendor]开头的，比如TI
Android直播开发之旅(3)：AAC编码格式分析与MP4文件封装(MediaCodec+MediaMuxer)
老蒋也疯狂
05-19 1万+
Android直播开发之旅(3)：AAC编码格式分析与MP4文件封装(MediaCodec+MediaMuxer) (码字不易，转载请声明出处：http://blog.csdn.net/andrexpert/article/details/72523408)   1.  AAC编码格式分析 (1)  AAC简介     高级音频编码(AdvancedAudio Coding，AAC)一种...
Android MediaCodec 使用例子
06-06
以下是一个简单的 Android MediaCodec 使用例子，用于解码 H.264 视频： ```java private MediaCodec decoder; private Surface surface; // 初始化解码器 private void initDecoder() throws IOException { MediaFormat format = MediaFormat.createVideoFormat("video/avc", 1920, 1080); decoder = MediaCodec.createDecoderByType("video/avc"); decoder.configure(format, surface, null, 0); decoder.start(); } // 解码数据 private void decodeData(byte[] data) { ByteBuffer[] inputBuffers = decoder.getInputBuffers(); int inputBufferIndex = decoder.dequeueInputBuffer(10000); if (inputBufferIndex >= 0) { ByteBuffer inputBuffer = inputBuffers[inputBufferIndex]; inputBuffer.clear(); inputBuffer.put(data); decoder.queueInputBuffer(inputBufferIndex, 0, data.length, 0, 0); } MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo(); int outputBufferIndex = decoder.dequeueOutputBuffer(bufferInfo, 10000); while (outputBufferIndex >= 0) { decoder.releaseOutputBuffer(outputBufferIndex, true); outputBufferIndex = decoder.dequeueOutputBuffer(bufferInfo, 0); } } ``` 在此例子中，我们首先通过 `MediaCodec.createDecoderByType()` 方法创建了一个视频解码器。然后，我们使用 `MediaCodec.configure()` 方法配置了解码器。我们还需要传入一个 `Surface` 对象，用于将解码的视频渲染到屏幕上。 在解码过程中，我们需要将待解码的数据放入解码器的输入缓冲区中，然后通过 `MediaCodec.queueInputBuffer()` 方法将其提交给解码器。解码器会自动从输入缓冲区中获取数据进行解码。 解码器会将解码后的数据放入输出缓冲区中，我们可以通过 `MediaCodec.dequeueOutputBuffer()` 方法获取解码器输出的数据。在获取到输出数据后，我们可以将其渲染到屏幕上。注意，我们需要调用 `MediaCodec.releaseOutputBuffer()` 方法通知解码器已经处理完输出缓冲区中的数据，以便解码器可以继续处理后续的数据。 需要注意的是，这只是一个简单的例子，实际上，使用 MediaCodec 进行视频编码和解码需要处理很多细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值