MediaCodec视频解码流程详解及参考demo

一、MediaCodec简介

        MediaCodec是Android自带的底层多媒体支持架构的一部分(通常与 MediaExtractor,MediaSync,MediaMuxer,MediaCrypto,MediaDrm,Image,Surface 和 AudioTrack 一起使用)。可以用来访问底层媒体编解码器,即编码器/解码器的组件。

        使用MediaCodec编解码即我们常说的硬编解码,它的优势是使用底层硬件编解码,效率比软编解码FFmpeg要高出不少。但劣势是由于硬编解码依赖于手机厂商的硬件设计,导致不同机型的效果可能千差万别,不好管控和统一。

        因此在实际开发中,使用软编解码或硬编解码还是要看具体的实际场景。

二、MediaCodec生命周期

        MediaCodec 有三种状态,分别是执行(Executing)、停止(Stopped)和释放(Released),其中执行和停止分别有三个子状态,执行的三个字状态分别是 Flushed、Running 和 Stream-of-Stream,停止的三个子状态分别是 Uninitialized、Configured 和 Error,MediaCodec 生命周期示意图如下:

        同步模式下:

         异步模式下:

         当创建了 MediaCodec 之后,是处于未初始化的 Uninitialized 状态,调用 configure 方法之后就处于 Configured 状态,调用了 start 方法之后,就处于 Executing 状态。

        在 Executing 状态下开始处理数据,它又有三个子状态,分别是:Flushed、RunningEnd of Stream。当一调用 start 方法之后,就进入了 Flushed 状态,从输入缓冲区队列中取出一个缓冲区就进入了 Running 状态,当入队的缓冲区带有 EOS 标志时, 就会切换到 End of Stream 状态, MediaCodec 不再接受入队的缓冲区,但是仍然会对已入队的且没有进行编解码操作的缓冲区进行操作、输出,直到输出的缓冲区带有 EOS 标志,表示编解码操作完成了。

        在 Executing 状态下可以调用 flush 方法,使 MediaCodec 切换到 Flushed 状态。

        在 Executing 状态下可以调用 stop 方法,使 MediaCodec 切换到 Uninitialized 状态,然后再次调用 configure 方法进入 Configured 状态。另外,当调用 reset 方法也会进入到 Uninitialized 状态。

        当不再需要 MediaCodec 时,调用 release 方法将它释放掉,进入 Released 状态。

        当 MediaCodec 工作发生异常时,会进入到 Error 状态,此时还是可以通过 reset 方法恢复过来,进入 Uninitialized 状态。

三、MediaCodec解码流程

        下面将讲解使用mediacodec对mp4的视频文件进行解码的API使用流程。本文主要是采用同步的解码方式。

        解码流程工作模型:

 

1、创建mediacodec并初始化

        可通过createDecoderByType来创建mediacodec:

mediaCodec = MediaCodec.createDecoderByType("video/avc");

        上面表示创建了一个解码器,并指定了解码类型为avc的视频解码器。

        初始化主要是为了给这个解码器设置一些格式,配置等,如下完整的创建和初始代码:

    private void initMediaCodecSys() {
        try {
            //创建
            mediaCodec = MediaCodec.createDecoderByType("video/avc");
            //格式
            mediaFormat = MediaFormat.createVideoFormat("video/avc", 1280, 720);
            mediaExtractor = new MediaExtractor();
            //MP4 文件存放位置
            mediaExtractor.setDataSource(MainActivity.MP4_PLAY_PATH);
            Log.d(TAG, "getTrackCount: " + mediaExtractor.getTrackCount());
            for (int i = 0; i < mediaExtractor.getTrackCount(); i++) {
                MediaFormat format = mediaExtractor.getTrackFormat(i);
                String mime = format.getString(MediaFormat.KEY_MIME);
                Log.d(TAG, "mime: " + mime);
                if (mime.startsWith("video")) {
                    mediaFormat = format;
                    mediaExtractor.selectTrack(i);
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        Surface surface = MainActivity.getSurface();
        //配置
        mediaCodec.configure(mediaFormat, surface, null, 0);
        mediaCodec.start();
    }

2、视频解码线程

        视频解码线程主要内容就是进行解码的流程控制。这个阶段的相应API有如下:

 // 获取可用的输入缓冲区的索引
 public int dequeueInputBuffer (long timeoutUs)
 // 获取输入缓冲区
 public ByteBuffer getInputBuffer(int index)
 // 将填满数据的inputBuffer提交到编码队列
 public final void queueInputBuffer(int index,int offset, int size, long presentationTimeUs, int flags)
 // 获取已成功编解码的输出缓冲区的索引
 public final int dequeueOutputBuffer(BufferInfo info, long timeoutUs)
 // 获取输出缓冲区
 public ByteBuffer getOutputBuffer(int index)
 // 释放输出缓冲区
 public final void releaseOutputBuffer(int index, boolean render) 

        获取可用的输入缓冲区的索引:

int inputIndex = mediaCodec.dequeueInputBuffer(-1);

        获取输入缓冲区:

ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inputIndex);

        读取相关数据:

//读取一片或者一帧数据
int sampSize = mediaExtractor.readSampleData(byteBuffer, 0);
//读取时间戳
long time = mediaExtractor.getSampleTime();

        将填满数据的inputBuffer提交到编码队列:

if (sampSize > 0 && time > 0) {
    mediaCodec.queueInputBuffer(inputIndex, 0, sampSize, time, 0);
    //读取一帧后必须调用,提取下一帧
    //控制帧率在30帧左右
    mSpeedController.preRender(time);
    mediaExtractor.advance();
}

        获取已成功编解码的输出缓冲区的索引:

BufferInfo bufferInfo = new BufferInfo();
int outIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);

        输出缓冲区:

if (outIndex >= 0) {
    mediaCodec.releaseOutputBuffer(outIndex, true);
}

        完整的视频解码线程代码如下:

/**
 * Play the MP4 file Thread
 * 解码主流程
 */
private class DecoderMP4Thread extends Thread {
    long pts = 0;

    @Override
    public void run() {
        super.run();
        while (!isDecodeFinish) {
            int inputIndex = mediaCodec.dequeueInputBuffer(-1);
            Log.d(TAG, "inputIndex: " + inputIndex);
            if (inputIndex >= 0) {
                ByteBuffer byteBuffer = mediaCodec.getInputBuffer(inputIndex);
                //读取一片或者一帧数据
                int sampSize = mediaExtractor.readSampleData(byteBuffer, 0);
                //读取时间戳
                long time = mediaExtractor.getSampleTime();
                if (sampSize > 0 && time > 0) {
                    mediaCodec.queueInputBuffer(inputIndex, 0, sampSize, time, 0);
                    //读取一帧后必须调用,提取下一帧
                    //控制帧率在30帧左右
                    mSpeedController.preRender(time);
                    mediaExtractor.advance();
                }
            }
            BufferInfo bufferInfo = new BufferInfo();
            int outIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0);
            if (outIndex >= 0) {
                mediaCodec.releaseOutputBuffer(outIndex, true);
            }
        }
    }
}

3、解码结束关闭回收

        完成解码播放后,对相关内存回收和关闭处理:

public void close() {
    try {
        Log.d(TAG, "close start");
        if (mediaCodec != null) {
            isDecodeFinish = true;
            try {
                if (mDecodeMp4Thread != null) {
                    mDecodeMp4Thread.join(2000);
                }
            } catch (InterruptedException e) {
                Log.e(TAG, "InterruptedException " + e);
            }
            boolean isAlive = mDecodeMp4Thread.isAlive();
            Log.d(TAG, "close end isAlive :" + isAlive);
            mediaCodec.stop();
            mediaCodec.release();
            mediaCodec = null;
            mSpeedController.reset();
        }
    } catch (IllegalStateException e) {
        e.printStackTrace();
    }
    instance = null;
}

        至此,整个视频解码流程就讲解完毕。

四、demo运行

        本人写了一个最简单的demo,使用mediacodec对mp4文件进行纯视频的解码播放,采用同步方式。

        该demo的解码对象mp4文件是内置在了raw/video.mp4,如果需要替换视频文件,可以替换这里:

         demo运行效果如下:

         点击START进行播放:

         播放过程中点击STOP可以停止播放。

        完整例子已经放到github上,如下:

        https://github.com/weekend-y/mediacodec_demo/tree/master/MediaCodec_DecodeMP4

        

  • 1
    点赞
  • 2
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:书香水墨 设计师:CSDN官方博客 返回首页
评论

打赏作者

周末的音视频

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值