Android 13 - Media框架（33）- ACodec（九）

已于 2024-08-09 00:09:08 修改
阅读量2k 收藏 16
点赞数 50
分类专栏： Android Media学习笔记 文章标签： android Framework 音视频 视频编解码 framework
于 2024-04-20 15:44:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41828351/article/details/132245273
版权

全新系列文章已更新：

前一节我们学习了Output Format Changed事件是如何上抛并且被处理的，这一节我们紧接着来学习OutputBuffer是如何上抛并且被处理的

1、CodecObserver::onMessages

virtual void onMessages(const std::list<omx_message> &messages) {
        for (std::list<omx_message>::const_iterator it = messages.cbegin();
              it != messages.cend(); ++it) {
            const omx_message &omx_msg = *it;

            sp<AMessage> msg = new AMessage;
            msg->setInt32("type", omx_msg.type);
            switch (omx_msg.type) {
                case omx_message::FILL_BUFFER_DONE:
                {
                    msg->setInt32(
                            "buffer", omx_msg.u.extended_buffer_data.buffer);
                    msg->setInt32(
                            "range_offset",
                            omx_msg.u.extended_buffer_data.range_offset);
                    msg->setInt32(
                            "range_length",
                            omx_msg.u.extended_buffer_data.range_length);
                    msg->setInt32(
                            "flags",
                            omx_msg.u.extended_buffer_data.flags);
                    msg->setInt64(
                            "timestamp",
                            omx_msg.u.extended_buffer_data.timestamp);
                    msg->setInt32(
                            "fence_fd", omx_msg.fenceFd);
                    break;
                }
            }
            msgList->getList().push_back(msg);
        }
        notify->setObject("messages", msgList);
        notify->post();    
}

OMXNodeInstance通过CodecObserver将event和message组织成为omx_message后上抛给ACodec，这一节我们重点来看OutputBuffer的处理流程。

因为OutputBuffer是被OMX组件填充完成，所以上抛的消息名称为FILL_BUFFER_DONE，组织到omx_message中的信息包含

  • buffer id：buffer索引；
  • buffer offset：buffer中数据的偏移量；
  • buffer length：buffer中数据的长度；
  • flags：携带的标志位；
  • timestamp：该帧的时间戳；
  • fence fd：同步句柄；

2、BaseState::onOMXFillBufferDone

消息会发送到ACodec Looper线程中，最终在ACodec::BaseState::onOMXFillBufferDone函数中做处理：

bool ACodec::BaseState::onOMXFillBufferDone(
        IOMX::buffer_id bufferID,
        size_t rangeOffset, size_t rangeLength,
        OMX_U32 flags,
        int64_t timeUs,
        int fenceFd) {
    ALOGV("[%s] onOMXFillBufferDone %u time %" PRId64 " us, flags = 0x%08x",
         mCodec->mComponentName.c_str(), bufferID, timeUs, flags);

    ssize_t index;
    status_t err= OK;

    // 这部分是预埋的log，某一帧pts的输出时间 - 某一帧pts的输入时间 = 该帧的解码时长
#if TRACK_BUFFER_TIMING
    index = mCodec->mBufferStats.indexOfKey(timeUs);
    if (index >= 0) {
        ACodec::BufferStats *stats = &mCodec->mBufferStats.editValueAt(index);
        stats->mFillBufferDoneTimeUs = ALooper::GetNowUs();

        ALOGI("frame PTS %lld: %lld",
                timeUs,
                stats->mFillBufferDoneTimeUs - stats->mEmptyBufferTimeUs);

        mCodec->mBufferStats.removeItemsAt(index);
        stats = NULL;
    }
#endif
    // 遍历BufferInfo数组，根据buffer id找到对应的BufferInfo
    BufferInfo *info =
        mCodec->findBufferByID(kPortIndexOutput, bufferID, &index);
    // 检查当前BufferInfo的状态
    BufferInfo::Status status = BufferInfo::getSafeStatus(info);
    if (status != BufferInfo::OWNED_BY_COMPONENT) {
        ALOGE("Wrong ownership in FBD: %s(%d) buffer #%u", _asString(status), status, bufferID);
        mCodec->dumpBuffers(kPortIndexOutput);
        mCodec->signalError(OMX_ErrorUndefined, FAILED_TRANSACTION);
        if (fenceFd >= 0) {
            ::close(fenceFd);
        }
        return true;
    }
    // 记录当前 BufferInfo 在第几帧输出被使用
    info->mDequeuedAt = ++mCodec->mDequeueCounter;
    // 修改当前 BufferInfo 状态
    info->mStatus = BufferInfo::OWNED_BY_US;

    if (info->mRenderInfo != NULL) {
        // The fence for an emptied buffer must have signaled, but there still could be queued
        // or out-of-order dequeued buffers in the render queue prior to this buffer. Drop these,
        // as we will soon requeue this buffer to the surface. While in theory we could still keep
        // track of buffers that are requeued to the surface, it is better to add support to the
        // buffer-queue to notify us of released buffers and their fences (in the future).
        mCodec->notifyOfRenderedFrames(true /* dropIncomplete */);
    }

    // byte buffers cannot take fences, so wait for any fence now
    if (mCodec->mNativeWindow == NULL) {
        (void)mCodec->waitForFence(fenceFd, "onOMXFillBufferDone");
        fenceFd = -1;
    }
    info->setReadFence(fenceFd, "onOMXFillBufferDone");

    // 获取当前端口模式
    PortMode mode = getPortMode(kPortIndexOutput);

    switch (mode) {
        // 如果端口状态为 KEEP_BUFFERS，那么ACodec 持有Buffer，什么都不做
        case KEEP_BUFFERS:
            break;

        case RESUBMIT_BUFFERS:
        {
            // 如果数据长度为0，并且flag不是eos，说明这是一帧无效输出
            if (rangeLength == 0 && (!(flags & OMX_BUFFERFLAG_EOS)
                    || mCodec->mPortEOS[kPortIndexOutput])) {
                ALOGV("[%s] calling fillBuffer %u",
                     mCodec->mComponentName.c_str(), info->mBufferID);
                // 重新送给OMX组件填充
                err = mCodec->fillBuffer(info);
                if (err != OK) {
                    mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
                    return true;
                }
                break;
            }

            sp<MediaCodecBuffer> buffer = info->mData;

            // 给 BufferInfo 设置 format
            if (mCodec->mOutputFormat != mCodec->mLastOutputFormat && rangeLength > 0) {
                // pretend that output format has changed on the first frame (we used to do this)
                if (mCodec->mBaseOutputFormat == mCodec->mOutputFormat) {
                    mCodec->onOutputFormatChanged(mCodec->mOutputFormat);
                }
                mCodec->sendFormatChange();
            }
            buffer->setFormat(mCodec->mOutputFormat);

            if (mCodec->usingSecureBufferOnEncoderOutput()) {
                native_handle_t *handle = NULL;
                sp<SecureBuffer> secureBuffer = static_cast<SecureBuffer *>(buffer.get());
                if (secureBuffer != NULL) {
#ifdef OMX_ANDROID_COMPILE_AS_32BIT_ON_64BIT_PLATFORMS
                    // handle is only valid on 32-bit/mediaserver process
                    handle = NULL;
#else
                    handle = (native_handle_t *)secureBuffer->getDestinationPointer();
#endif
                }
                buffer->meta()->setPointer("handle", handle);
                buffer->meta()->setInt32("rangeOffset", rangeOffset);
                buffer->meta()->setInt32("rangeLength", rangeLength);
            } else if (buffer->base() == info->mCodecData->base()) {
                // 如果不需要converter做转换，即codecData 和 mData指向同一块缓冲区，则直接设定buffer的读取范围
                buffer->setRange(rangeOffset, rangeLength);
            } else {
                // 如果需要converter，则做数据转换，将codecData中的数据转换到mData中
                info->mCodecData->setRange(rangeOffset, rangeLength);
                // in this case we know that mConverter is not null
                status_t err = mCodec->mConverter[kPortIndexOutput]->convert(
                        info->mCodecData, buffer);
                if (err != OK) {
                    mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
                    return true;
                }
            }
#if 0
            // 如果没有native window，如果mData中的数据可访问，可以检查是否是IDR帧
            if (mCodec->mNativeWindow == NULL) {
                if (IsIDR(info->mData->data(), info->mData->size())) {
                    ALOGI("IDR frame");
                }
            }
#endif

            if (mCodec->mSkipCutBuffer != NULL) {
                mCodec->mSkipCutBuffer->submit(buffer);
            }
            // 设置 BufferInfo 的时间戳
            buffer->meta()->setInt64("timeUs", timeUs);
            // 清除 BufferInfo 对 mData 的引用
            info->mData.clear();

            // 将 BufferID 交给 BufferChannel，让他上抛给 MediaCodec
            mCodec->mBufferChannel->drainThisBuffer(info->mBufferID, flags);
            // 设置 BufferInfo 的状态为 OWNED_BY_DOWNSTREAM
            info->mStatus = BufferInfo::OWNED_BY_DOWNSTREAM;
            // 如果是 EOS，那么需要标注端口收到 EOS
            if (flags & OMX_BUFFERFLAG_EOS) {
                ALOGV("[%s] saw output EOS", mCodec->mComponentName.c_str());

                mCodec->mCallback->onEos(mCodec->mInputEOSResult);
                mCodec->mPortEOS[kPortIndexOutput] = true;
            }
            break;
        }

        case FREE_BUFFERS:
            // 如果端口状态为 Free_Buffers，那么就释放掉该output Buffer
            err = mCodec->freeBuffer(kPortIndexOutput, index);
            if (err != OK) {
                mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
                return true;
            }
            break;

        default:
            ALOGE("Invalid port mode: %d", mode);
            return false;
    }

    return true;
}

这部分的代码有一点点长，但是思路很简单，主要是要理清getPortMode的意思：

  1. OMX callback 回来的是一个 id，我们首先要利用这个id，找到ACodec存储的BufferInfo，以及BufferInfo在数组中的索引；
  2. 检查BufferInfo的归属，是否是属于OMX组件，如果不是则状态异常；
  3. 记录当前输出帧数，同时记录当前 BufferInfo 在第几帧输出被使用，这在之前的章节中已经讲过如何使用了；
  4. 修改当前 BufferInfo 的归属为 ACodec；
  5. 获取当前端口模式，这个步骤非常关键，所谓端口模式，指的就是当前播放器状态，普通状态下port mode为KEEP_BUFFERS，表示ACodec会持有buffer，不做任何动作；运行状态下port mode为RESUBMIT_BUFFERS，ACodec会向目标提交Buffer，保持Buffer的流转；OutputPortSettingsChangedState状态下，会直接销毁 Output Buffer，这一部分内容在前一节中已经学习过了；KEEP_BUFFERS很简单，所以我们只看RESUBMIT_BUFFERS。
  6. 检查buffer数据长度，如果数据长度为0，并且flag不是eos，说明这是一帧无效输出，直接重新送给OMX组件填充；
  7. 获取 BufferInfo 中与 ACodecBufferChannel 交互的 MediaCodecBuffer（mData），为改mData设置输出格式，设置缓冲区的范围和偏移量，以及时间戳；
  8. 设置完成后移除 BufferInfo 对改 MediaCodecBuffer 的引用；
  9. 调用 ACodecBufferChannel 的 drainThisBuffer 方法，将Buffer传递给MediaCodec；
  10. 设置BufferInfo的归属为 上层（OWNED_BY_DOWNSTREAM）；
  11. 如果flag是 EOS，那么需要标注端口收到 EOS。

到这FILL_BUFFER_DONE的消息就处理完成了。

3、BaseState::onOutputBufferDrained

关注公众号《青山渺渺》阅读完整内容； 如有问题可在公众号后台私信，也可进入音视频开发技术分享群一起讨论！

在这里插入图片描述

青山渺渺
关注
  • 50
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
Android的MediaPlayer架构介绍
11-27
Android的MediaPlayer架构介绍
android的多媒体MediaPlayer架构介绍
06-25
对Android的多媒体框架MediaPlayer和基于Opencore的PVplayerEngine之间的调用做了一个较详细的说明。
Android Media Framework（十一）OMXNodeInstance - Ⅳ
最新发布
青山渺渺
07-14 1219
在这篇文章中，我们将一起学习编解码过程中的两个数据驱动函数：emptyBuffer和fillBuffer，Android Media Framework（十）OMXNodeInstance - Ⅲ 是本文的基础，所以要仔细阅读上一篇文章哦。
Android的Media架构介绍
Ink_jay的专栏
04-20 2096
<br />本文主要介绍Android MediaPlayer的架构，主要由OpenCore 里的PV Player来实现的。<br /><br />1.概述<br />Android的MediaPlayer包含了Audio和Video的播放功能，Music和Video两个应用程序都是调用MediaPlayer实现的。<br /><br />代码主要分布在以下的目录中：<br />JAVA程序的路径：<br />packages/apps/Music/src/com/android/music/<br />
android media framework
03-11
android meida framework
android.media.MediaPlayer
给力生活，天天向上！
05-03 253
MediaPlayer类可用于控制音频/视频文件或流的播放。关于如何使用这个类的方法还可以阅读VideoView类的文档。1．状态图对播放音频/视频文件和流的控制是通过一个状态机来管理的。下图显示一个MediaPlayer对象被支持的播放控制操作驱动的生命周期和状态。椭圆代表MediaPlayer对象可能驻留的状态。弧线表示驱动MediaPlayer在各个状态之间迁移的播放控制操作。这里有两种类型...
android media架构
weixin_34323585的博客
11-28 571
android的多媒体框架如今已经演变得非常复杂的，这里面原因多种多样，后续争取逐步总结完整。 我们先用一个最基础的mediaplayer播放视频示意图看一下与架构之间的关联（实际android各种完整的媒体通路要更复杂数十倍以上），用户创建一个播放器APK或者APK需要播放一个视频，通过framework层的mediaplayer进行调用播放，mediaplayer会通过mediaserver在native服务层取找到解码器，通过软件解码 或者 硬件解码（如GPU等来实现）进行解码，然后通过surface
Android Media Framework(1): 总纲
Android系统攻城狮
09-22 932
转自:http://www.jianshu.com/users/5ba48666a89d/latest_articles Android系统整体架构： 我们先看一下多媒体框架在整个Android系统所处的位置 Android多媒体框架opencore和stagefright分析 从框架图可以看出Media Framework处于Libraries这一
Android Media (Audio) Framework Analyse
明伟的专栏
01-05 7199
Copyright：http://blog.csdn.net/myzhzygh/article/details/7429687 1 Android多媒体框架结构 Android 多媒体系统纵向跨越了Android系统的所有4个层次： Java应用程序层、Java框架层、本地代码层、Linux驱动层。多媒体本地代码层是多媒体系统的重点。 Android媒体播放器的模块结构如图1所示。
android MediaCodec ACodec
husanlim 的专栏
04-21 5399
MediaCodecMediaCodec类可用于访问Android底层的媒体编解码器，例如，编码/解码组件。它是Android为多媒体支持提供的底层接口的一部分（通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, 以及AudioTrack一起使用）。从广义上讲，一个编解码器通过处理输入数据...
Android MultiMedia框架——ACodec加载OMX
奋斗的菜鸟ing
03-27 1646
Android MultiMedia框架——OMX服务启动 Android MultiMedia框架——OMXPlugin Android MultiMedia框架——MediaCodec编码(上) Android MultiMedia框架——MediaCodec编码(下) Android MultiMedia框架——ACodec加载OMX 基于Android 9.0源码分析 这篇主要分析一下ACodec状态机模式，及ACodec和OMX建立连接，进行交互 1 状态机 ACodec继承于状态机类AHiera
Android media framework
01-29
一个很好的ppt 介绍Android的media framework 非常详细 帮助你更好理解 Android的多媒体框架
Android 9.0 multimedia框架解析(五)ACodec配置解码器过程
我将带头加班的博客
08-24 6969
概述 先来回顾下上篇文章所讲的MediaPlayerService的start过程。MediaPlayerService的start通过层层调用会调用到NuPlayer::onStart，onStart会先启动GenericSource，然后通过异步的方式调用到NuPlayer::instantiateDecoder。在instantiateDecoder中，会创建NuPlayer::Decode...
[Android Video Framework]ACodec加载OMX
少侠的专栏
01-31 3032
OpenMAX确立了一套标准的接口，上层App直接调用这些接口，底层硬件厂商直接实现这些接口， 从而实现了上层软件开发与底层芯片开发地彻底分离，加速了跨平台的多媒体组件的开发、整合和编程。 Android上的MediaCodec是通过ACodec来加载openmax层，了解OMX加载过程，有助于我们更好的分析问题和解决问题 加载过程还需从ACodec::UninitializedState::on...
Android10以上Codec2框架解码流程(二十六)
Android系统攻城狮
07-18 2216
Android10支持Codec2，Android12后OMX框架将弃用。 1.相比于ACodec+OMX的中间件框架，Codec 2.0将具备若干特性：组件连通（component chaining），过滤器（filters），配置可查询（configureation querying）。插件化。 2.在性能上，相比于ACodec+OMX框架，Codec 2.0的解码组件与编码组件所依赖的Buffer管理机制具备零拷贝特性，避免大块数据的拷贝所引起的性能降低。.....................
MediaPlayer到ACodec到OMX流程(十九)
Android系统攻城狮
09-01 3951
******************************************************************************** OpenMax（OMX）框架位置及作用 1.android系统中只用openmax来做code，所以android向上抽象了一层OMXCodec，提供给上层播放器用。 播放器中音视频解码器mVideosource、mAudiosou...
Android的MediaPlayer架构介绍（转）
zhenyongyuan123的专栏
09-09 952
本文主要介绍的是Android中很重要也最为复杂的媒体播放器（MediaPlayer）部分的架构。对于Android这样一个完整又相对复杂的系统，一个MediaPlayer功能的实现不在其具体的功能，而是具体功能如何适应Android系统Android MediaPlayer的主要具体实现在OpenCore的Player中，这部分不是本文的关注点。本文关注的是MediaPlayer系统的架构，其他的一些Android的应用程序也使用类似的架构。 对于开源事业在中国的发展，hanchao3c认为应该共享的
ANDROID framework media 框架
chituhuan的专栏
08-31 1326
在framework中涉及media播放的流程头文件如下：IMediaPlayer.h mediaplayer.h IMediaPlayerClient.h其中IMediaPlayer.h 定义了binder通信相关的接口。定义了：class BnMediaPlayer: public BnInterface { public:     virtual status_t    onTrans
Android Media系统主框架
01-29 531
这是一张盗图，破解了我这段时间的疑惑。 参考： https://blog.csdn.net/u013928208/article/details/81901340
ffmpeg -i input.mp3 -acodec pcm_alaw -ar 8000 -ac 1 output.pcma执行失败
06-08
执行失败的原因可能有很多，以下是一些常见的原因和解决方法： 1. 输入文件不存在或者路径不正确。你可以尝试检查输入文件是否存在，以及输入文件的路径是否正确。 2. FFmpeg没有正确安装或者配置。你可以尝试重新安装或者更新FFmpeg，或者查看FFmpeg的相关配置是否正确。 3. 指定的输出文件名无效。你可以尝试使用其他的输出文件名，或者修改输出文件名的路径和格式。 4. 编解码器无法正常工作。你可以尝试使用其他的编解码器，或者查看编解码器是否存在问题。 5. 系统资源不足。如果系统内存或者CPU资源不足，可能会导致FFmpeg无法正常工作。你可以尝试关闭其他的应用程序，或者增加系统资源。 希望这些信息对你有所帮助。如果你仍然无法解决问题，请提供更多的错误信息和上下文信息，以便我们更好地帮助你解决问题。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青山渺渺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值