Android 13 - Media框架（22）- ACodec（四）

已于 2024-05-18 23:59:16 修改
阅读量2.2k 收藏 20
点赞数 56
分类专栏： Android Media学习笔记 文章标签： android Framework Media 多媒体
于 2023-12-14 23:50:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41828351/article/details/135005680
版权

前面两节我们了解了 ACodec 的创建及配置流程，配置完成后 ACodec 进入了 LoadedState，这一节开始将会了解 ACodec 的启动过程。

调用 ACodec::initiateStart 方法发出的 kWhatStart 消息将有 LoadedState 状态来处理，这个方法会向 OMX 组件发送命令OMX_CommandStateSet ，将组件的状态设定为 OMX_StateIdle，之后将 ACodec 的状态切换到中间等待状态 LoadedToIdleState。

void ACodec::LoadedState::onStart() {
    ALOGV("onStart");

    status_t err = mCodec->mOMXNode->sendCommand(OMX_CommandStateSet, OMX_StateIdle);
    if (err != OK) {
        mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
    } else {
        mCodec->changeState(mCodec->mLoadedToIdleState);
    }
}

切换状态时调用 LoadedToIdleState 的 stateEntered 方法，来为 OMX 组件分配 buffer，这是很关键的一步。

void ACodec::LoadedToIdleState::stateEntered() {
    ALOGV("[%s] Now Loaded->Idle", mCodec->mComponentName.c_str());

    status_t err;
    if ((err = allocateBuffers()) != OK) {
        ALOGE("Failed to allocate buffers after transitioning to IDLE state "
             "(error 0x%08x)",
             err);

        mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));

        mCodec->mOMXNode->sendCommand(
                OMX_CommandStateSet, OMX_StateLoaded);
        if (mCodec->allYourBuffersAreBelongToUs(kPortIndexInput)) {
            mCodec->freeBuffersOnPort(kPortIndexInput);
        }
        if (mCodec->allYourBuffersAreBelongToUs(kPortIndexOutput)) {
            mCodec->freeBuffersOnPort(kPortIndexOutput);
        }

        mCodec->changeState(mCodec->mLoadedState);
    }
}

stateEntered 中主要调用了 allocateBuffers 方法，如果返回结果有问题，那么会将状态回滚到 LoadedState。

status_t ACodec::LoadedToIdleState::allocateBuffers() {
    status_t err = mCodec->allocateBuffersOnPort(kPortIndexInput);
    if (err != OK) {
        return err;
    }

    err = mCodec->allocateBuffersOnPort(kPortIndexOutput);
    if (err != OK) {
        return err;
    }

    mCodec->mCallback->onStartCompleted();

    return OK;
}

allocateBuffers 中将 buffer 分配完成后，就会调用 callback 通知 MediaCodec 完成阻塞调用了。我们上面说到将 OMX 组件状态设置为 OMX_StateIdle，这个状态下，OMX 组件处理这个消息时应该是处于一个阻塞的状态，阻塞是在等待上层 buffer 分配完成，一旦完成后就会向 ACodec 发送一条消息，表示事件处理完成了（buffer准备完成），这时候 ACodec 将会再向 OMX 组件发送状态设置命令，将组件状态设置为 OMX_StateExecuting，组件就正式开始工作了。

bool ACodec::LoadedToIdleState::onOMXEvent(
        OMX_EVENTTYPE event, OMX_U32 data1, OMX_U32 data2) {
    switch (event) {
        case OMX_EventCmdComplete:
        {
            status_t err = OK;
            if (data1 != (OMX_U32)OMX_CommandStateSet
                    || data2 != (OMX_U32)OMX_StateIdle) {
                ALOGE("Unexpected command completion in LoadedToIdleState: %s(%u) %s(%u)",
                        asString((OMX_COMMANDTYPE)data1), data1,
                        asString((OMX_STATETYPE)data2), data2);
                err = FAILED_TRANSACTION;
            }

            if (err == OK) {
                err = mCodec->mOMXNode->sendCommand(
                    OMX_CommandStateSet, OMX_StateExecuting);
            }

            if (err != OK) {
                mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
            } else {
                mCodec->changeState(mCodec->mIdleToExecutingState);
            }

            return true;
        }

        default:
            return BaseState::onOMXEvent(event, data1, data2);
    }
}

上面这段主要是要理解，OMX组件在处理 OMX_StateIdle 这条命令时会处在一个阻塞的状态。

接下来我们就要一起看 buffer 是如何分配的，如果已经了解我们上一节看的 Port Mode，那么这部分还是很简单的。

代码比较长，我们把代码分成两部分来看：

  1. 有native window的情况下分配output buffer；

  2. 对 input buffer ，以及没有 native window 时的 output buffer 进行分配；

首先我们来看第一部分：

    // 1、在有native window的情况下分配output buffer
    if (mNativeWindow != NULL && portIndex == kPortIndexOutput) {
        if (storingMetadataInDecodedBuffers()) {
            err = allocateOutputMetadataBuffers();
        } else {
            err = allocateOutputBuffersFromNativeWindow();
        }
    }

我们在上一篇中了解到有native window 时，output mode会有两种情况，一种是 tunnel mode；另一种是 kPortModeDynamicANWBuffer，也就是所谓的 MetaData mode，这里我们先看这种模式。

1、allocateOutputMetadataBuffers

status_t ACodec::allocateOutputMetadataBuffers() {
    CHECK(storingMetadataInDecodedBuffers());
	// 1、调用方法获取 native window 可用的 output buffer 数量以及大小
    OMX_U32 bufferCount, bufferSize, minUndequeuedBuffers;
    status_t err = configureOutputBuffersFromNativeWindow(
            &bufferCount, &bufferSize, &minUndequeuedBuffers,
            mFlags & kFlagPreregisterMetadataBuffers /* preregister */);
    if (err != OK)
        return err;
    mNumUndequeuedBuffers = minUndequeuedBuffers;

    ALOGV("[%s] Allocating %u meta buffers on output port",
         mComponentName.c_str(), bufferCount);
	// 2、创建 对应数量的 BufferInfo
    for (OMX_U32 i = 0; i < bufferCount; i++) {
        BufferInfo info;
        info.mStatus = BufferInfo::OWNED_BY_NATIVE_WINDOW;
        info.mFenceFd = -1;
        info.mRenderInfo = NULL;
        info.mGraphicBuffer = NULL;
        info.mNewGraphicBuffer = false;
        info.mDequeuedAt = mDequeueCounter;
		// 3、创建一个 MediaCodecBuffer
        info.mData = new MediaCodecBuffer(mOutputFormat, new ABuffer(bufferSize));

        // Initialize fence fd to -1 to avoid warning in freeBuffer().
        ((VideoNativeMetadata *)info.mData->base())->nFenceFd = -1;

        info.mCodecData = info.mData;
		// 4、调用 useBuffer 让 OMX 组件使用一块空的 buffer，并且回传 ID
        err = mOMXNode->useBuffer(kPortIndexOutput, OMXBuffer::sPreset, &info.mBufferID);
        mBuffers[kPortIndexOutput].push(info);

        ALOGV("[%s] allocated meta buffer with ID %u",
                mComponentName.c_str(), info.mBufferID);
    }
	// 5、计算需要提交的 output buffer 数量
    mMetadataBuffersToSubmit = bufferCount - minUndequeuedBuffers;
    return err;
}

这个方法大致做了以下5个事情：

  1. 获取 native window 可用的 output buffer 数量以及大小；
  2. 创建对应数量的 BufferInfo；
  3. 为 BufferInfo 中的 mData 字段分配空间；
  4. 调用 useBuffer 让 OMX 组件使用一块空的 buffer，并且回传 ID 并与当前的 BufferInfo 相绑定；
  5. 计算需要提交的 output buffer 数量；

1.1、configureOutputBuffersFromNativeWindow

status_t ACodec::configureOutputBuffersFromNativeWindow(
        OMX_U32 *bufferCount, OMX_U32 *bufferSize,
        OMX_U32 *minUndequeuedBuffers, bool preregister) {

    OMX_PARAM_PORTDEFINITIONTYPE def;
    InitOMXParams(&def);
    def.nPortIndex = kPortIndexOutput;
	// 获取 OMX 组件定义的 output port 的定义，定义中会有 output buffer 的数量
    status_t err = mOMXNode->getParameter(
            OMX_IndexParamPortDefinition, &def, sizeof(def));

    if (err == OK) {
        err = setupNativeWindowSizeFormatAndUsage(
                mNativeWindow.get(), &mNativeWindowUsageBits,
                preregister && !mTunneled /* reconnect */);
    }
    if (err != OK) {
        mNativeWindowUsageBits = 0;
        return err;
    }
	// 设置从 nativewindow 中获取buffer这个动作为阻塞的
    static_cast<Surface *>(mNativeWindow.get())->setDequeueTimeout(-1);

    // Exits here for tunneled video playback codecs -- i.e. skips native window
    // buffer allocation step as this is managed by the tunneled OMX omponent
    // itself and explicitly sets def.nBufferCountActual to 0.
    // 如果是 tunnel mode，那么端口的 buffer 数量为0，不需要从上层获取 output buffer
    if (mTunneled) {
        ALOGV("Tunneled Playback: skipping native window buffer allocation.");
        def.nBufferCountActual = 0;
        err = mOMXNode->setParameter(
                OMX_IndexParamPortDefinition, &def, sizeof(def));

        *minUndequeuedBuffers = 0;
        *bufferCount = 0;
        *bufferSize = 0;
        return err;
    }
	// 从 native window 获取最小的还未出队列的 buffer 数量
    *minUndequeuedBuffers = 0;
    err = mNativeWindow->query(
            mNativeWindow.get(), NATIVE_WINDOW_MIN_UNDEQUEUED_BUFFERS,
            (int *)minUndequeuedBuffers);

    if (err != 0) {
        ALOGE("NATIVE_WINDOW_MIN_UNDEQUEUED_BUFFERS query failed: %s (%d)",
                strerror(-err), -err);
        return err;
    }

	// 重新计算OMX 组件上 output buffer 的数量
    // FIXME: assume that surface is controlled by app (native window
    // returns the number for the case when surface is not controlled by app)
    // FIXME2: This means that minUndeqeueudBufs can be 1 larger than reported
    // For now, try to allocate 1 more buffer, but don't fail if unsuccessful

    // Use conservative allocation while also trying to reduce starvation
    //
    // 1. allocate at least nBufferCountMin + minUndequeuedBuffers - that is the
    //    minimum needed for the consumer to be able to work
    // 2. try to allocate two (2) additional buffers to reduce starvation from
    //    the consumer
    //    plus an extra buffer to account for incorrect minUndequeuedBufs
    for (OMX_U32 extraBuffers = 2 + 1; /* condition inside loop */; extraBuffers--) {
    	// 尝试将output buffer 的数量设置为端口所需的最小数量 +  nativewindow最小未出队列的buffer数量 + 3
        OMX_U32 newBufferCount =
            def.nBufferCountMin + *minUndequeuedBuffers + extraBuffers;
        def.nBufferCountActual = newBufferCount;
        err = mOMXNode->setParameter(
                OMX_IndexParamPortDefinition, &def, sizeof(def));

        if (err == OK) {
            *minUndequeuedBuffers += extraBuffers;
            break;
        }

        ALOGW("[%s] setting nBufferCountActual to %u failed: %d",
                mComponentName.c_str(), newBufferCount, err);
        /* exit condition */
        if (extraBuffers == 0) {
            return err;
        }
    }
	// 设置 native window 的buffer数量
    err = native_window_set_buffer_count(
            mNativeWindow.get(), def.nBufferCountActual);

    if (err != 0) {
        ALOGE("native_window_set_buffer_count failed: %s (%d)", strerror(-err),
                -err);
        return err;
    }
	// 设置 buffercount 和 buffersize
    *bufferCount = def.nBufferCountActual;
    *bufferSize =  def.nBufferSize;
    return err;
}

由于不了解 Graphic 相关的内容，所以这部分只能边看边猜，以下是我自己的理解，可能有误：

  1. 计算output buffer 数量时首先会从 OMX 组件获取输出端口的配置，配置中定义有最小和最大需要的 buffer 数量；
  2. 将从 native window 中 deque buffer 这个动作设置为阻塞的；
  3. 如果是 tunnel mode，不会从上层获取 output buffer，buffer 的数量设置为0；
  4. 从 native window 获取最小的还未出队列的 buffer 数量；
  5. 重新计算OMX 组件上真实使用的 output buffer 的数量；
  6. 设置 native window 的 buffer数量为真实使用的buffer 的数量。

这里对 nBufferCountActual （真实使用的buffer数量）的计算比较令人疑惑，上面的代码中有一个循环，会尝试将 nBufferCountMin （最小 buffer 数量）+ minUndequeuedBuffers + extra 作为真实值，并且尝试设定给组件，只要这个值没有超过最大值就可以成功设定。

这里的 minUndequeuedBuffers 代表什么意思呢？上文中的 mMetadataBuffersToSubmit = bufferCount - minUndequeuedBuffers 又是代表什么意思呢？

关注公众号《青山渺渺》阅读完整内容； 如有问题可在公众号后台私信，也可进入音视频开发技术分享群一起讨论！

在这里插入图片描述

青山渺渺
关注
  • 56
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Android 13 - Media框架（27）- ACodec（五）
青山渺渺
12-26 1805
前面几节我们了解了OMXNodeInstance是如何处理setPortMode、allocateBuffer、useBuffer的，这一节我们再回到ACodec，来看看 ACodec start 的其他部分。我们首先来回顾一下，ACodec start 的状态切换以及处理的事务，我们用一张不太准确的图来表示：可以看到将 OMX 组件设置为 OMX_StateIdle 之后，OMX 组件会等待所有的 buffer 都分配完成，然后将状态设置完成的消息返回给ACodec层。
Android 13 - Media框架（20）- ACodec（二）
青山渺渺
12-09 2063
这一节开始我们就来学习 ACodec 的实现。
Android-ACodec之allocatebuffers
cheriyou_的博客
08-06 1909
ACodec的状态转移如下: UninitializedState -> LoadedState -> LoadedToIdleState -> IdleToExecutingState -> ExecutingState -> …… 在LoadedState时需要allocatebuffers进入loadedtoidlestate。 具体的allocatebuffers是怎么分配buffers的，接下来将具体介绍: 先看代码: status_t ACodec::L
（2）android MediaPlayer 和Nupalyer、MediaCodec、OMX关系
Canok
09-26 1793
MediaCodec 又转而使用ACodec, (ACodec， 即android codec),注意这里各种命名和包装的关系，很有层次感，并不是无端就这么多层次来恶心人的。 ACodec 才是android平台上codec的实现，但是为了屏蔽硬件厂商的实现差异，对上提供统一的接口，android 上对硬件厂商提供的编解码器用openMax 标准接口进行规范，（原本上openMax不仅仅规定了code的接口形式，甚至是demuxer都有，一套组件接口，但是android 只是使用了 code）。 所以 以O
16. Android MultiMedia框架完全解析 - ACodec详细解析
做有意思的事情
07-20 1023
前言 之前的文章中，已经多次分析过ACodec，但是我仍然认为有必要单独拿出来一节分析其中的一些机制与流程，下面先来看看ACodec在整个NuPlayer架构中的位置： 1. ACodec消息机制 ACodec有一个BaseState和派生出来的其他State，如 UninitializedState,LoadedToIdleState, ExecutingState等。当有消息过来时，如果派生类有重写的方法，则会调到重写的方法，如果没有，则会调到BaseState的方法。 ACodec继承自AHiera
Android代码-基于VCamera，仿微信录制短视频
08-06
WxRecoderVideo 更新 最近在学习FFmpeg，撸了一个短视频编辑器Cut,有兴趣可以看看 ... "-crf 25 -acodec aac -ar 44100 -ac 2 -b:a 96k -s 360x640 -aspect 9:16 " mMediaObject.getOutputVideoPath
Android NuPlayer框架
01-20
android NuPlayer多媒体框架，描述了NuPlayer到mediacodec、acodec、OMX整个播放的数据流和控制流
nginx-rtmp-monitoring：nginx rtmp模块的实时监视统计信息显示板
02-03
re -i <replace>.mp4 -vcodec libx264 -profile:v main -preset:v medium -r 30 -g 60 -keyint_min 60 -sc_threshold 0 -b:v 2500k -maxrate 2500k -bufsize 2500k -sws_flags lanczos+accurate_rnd -acodec aac -b:...
ffmpeg android so/a 支持x264、x265、xfade
最新发布
01-23
ffmpeg android so/a 支持jni、x264、x265、xfade，有能力的朋友可以使用来进行音视频编辑操作。
android采用FFmpeg实现音视频合成与分离
01-04
上一篇文章谈到音频剪切、混音、拼接与转码，也详细介绍cMake配置与涉及FFmpeg文件的导入： android端采用FFmpeg进行音频混合与拼接剪切 。现在接着探讨音视频的合成与分离。 1、音频提取 从多媒体文件中提取音频，...
【Android 10 源码】深入理解 MediaCodec configure
洪伟的专栏
10-29 6038
使用 MediaCodec 的关键一步是 configure，在 start 之前配置是必须的。以解码为例，并且直接解码到外部提供的 surface 上，所以输入的 surface 不为空。 configure(…) 提供给外部调用的 public 方法内部调用了同名重载版本的方法。 遍历从 MediaFormat 返回的 map，构造为 key 和 value 数组； 调用 native_configure(…) 交给 native 层处理。 frameworks/base/media/java/a
Android MultiMedia框架——ACodec加载OMX
奋斗的菜鸟ing
03-27 1617
Android MultiMedia框架——OMX服务启动 Android MultiMedia框架——OMXPlugin Android MultiMedia框架——MediaCodec编码(上) Android MultiMedia框架——MediaCodec编码(下) Android MultiMedia框架——ACodec加载OMX 基于Android 9.0源码分析 这篇主要分析一下ACodec状态机模式，及ACodec和OMX建立连接，进行交互 1 状态机 ACodec继承于状态机类AHiera
Android ACodec学习
bencharluo的专栏
03-03 4474
enum PortMode {     KEEP_BUFFERS,     RESUBMIT_BUFFERS,     FREE_BUFFERS, } Android ACodec会根据当前处于哪个state来决定buffer如何处理。 KEEP_BUFFERS:当ACodec处于BaseState或者收到OnInputBufferFilled消息但是buffer里面没有填有效数据的时
Android 9.0 multimedia框架解析(五)ACodec配置解码器过程
我将带头加班的博客
08-24 6879
概述 先来回顾下上篇文章所讲的MediaPlayerService的start过程。MediaPlayerService的start通过层层调用会调用到NuPlayer::onStart，onStart会先启动GenericSource，然后通过异步的方式调用到NuPlayer::instantiateDecoder。在instantiateDecoder中，会创建NuPlayer::Decode...
【六】Android MediaPlayer整体架构源码分析 -【start请求播放处理流程】【Part 6】【01】
CloverLHao的博客
05-14 2705
3、setPortMode(kPortIndexOutput, IOMX::kPortModeDynamicANWBuffer)实现分析： 设置输出缓冲区buffer端口模式为 kPortModeDynamicANWBuffer 即会使用ANativeWindowBuffer来传递已解码输出数据。
12. Android MultiMedia框架完全解析 - 从NuPlayer到MediaCodec到ACodec到OMX的整体流程与状态转换
吾皇的博客
04-01 9397
之前的文章中，讲了那么多细节的东西，已经对概况没有一个大致的了解，所以这里缕一下整体的流程，同时也分析MediaCodec，ACodec与OMX Plugin之间的状态切换关系。 （一）初始化过程（从NuPlayer开始）： 1. NuPlayer::start()时产生一个kWhatStart，在消息处理函数中如果是暂停后的开始就调用NuPlayer::onResume()【只需m...
android MediaCodec ACodec
husanlim 的专栏
04-21 5378
MediaCodecMediaCodec类可用于访问Android底层的媒体编解码器，例如，编码/解码组件。它是Android为多媒体支持提供的底层接口的一部分（通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, 以及AudioTrack一起使用）。从广义上讲，一个编解码器通过处理输入数据...
ffmpeg -i input.mp3 -acodec pcm_alaw -ar 8000 -ac 1 output.pcma执行失败
06-08
执行失败的原因可能有很多，以下是一些常见的原因和解决方法： 1. 输入文件不存在或者路径不正确。你可以尝试检查输入文件是否存在，以及输入文件的路径是否正确。 2. FFmpeg没有正确安装或者配置。你可以尝试重新安装或者更新FFmpeg，或者查看FFmpeg的相关配置是否正确。 3. 指定的输出文件名无效。你可以尝试使用其他的输出文件名，或者修改输出文件名的路径和格式。 4. 编解码器无法正常工作。你可以尝试使用其他的编解码器，或者查看编解码器是否存在问题。 5. 系统资源不足。如果系统内存或者CPU资源不足，可能会导致FFmpeg无法正常工作。你可以尝试关闭其他的应用程序，或者增加系统资源。 希望这些信息对你有所帮助。如果你仍然无法解决问题，请提供更多的错误信息和上下文信息，以便我们更好地帮助你解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青山渺渺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值