Android Media Framework（十四）ACodec - Ⅱ

最新推荐文章于 2024-09-13 18:22:36 发布
最新推荐文章于 2024-09-13 18:22:36 发布
阅读量1k 收藏 24
点赞数 17
分类专栏： Android Media框架剖析 文章标签： android Android 音视频 openmax 多媒体
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41828351/article/details/141072424
版权

这一节我们一起来分析ACodec的创建、组件分配和组件配置过程，内容较为简单，轻松阅读吧。

1、ACodec创建

ACodec::ACodec()
    : mIsVideo(false),
      mIsImage(false),
      mIsEncoder(false) {
    // ...
    mUninitializedState = new UninitializedState(this);
    mLoadedState = new LoadedState(this);
    mLoadedToIdleState = new LoadedToIdleState(this);
    mIdleToExecutingState = new IdleToExecutingState(this);
    mExecutingState = new ExecutingState(this);

    mOutputPortSettingsChangedState = new OutputPortSettingsChangedState(this);

    mExecutingToIdleState = new ExecutingToIdleState(this);
    mIdleToLoadedState = new IdleToLoadedState(this);
    mFlushingState = new FlushingState(this);

    // ...
    mPortMode[kPortIndexInput] = IOMX::kPortModePresetByteBuffer;
    mPortMode[kPortIndexOutput] = IOMX::kPortModePresetByteBuffer;

    changeState(mUninitializedState);
}

ACodec的构造函数主要做了三件事，分别为初始化成员变量，实例化State对象，以及将状态切换至UninitializedState。切换状态时会调用UninitializedState的stateEntered方法：

void ACodec::UninitializedState::stateEntered() {
    if (mDeathNotifier != NULL) {
        if (mCodec->mOMXNode != NULL) {
            auto tOmxNode = mCodec->mOMXNode->getHalInterface<IOmxNode>();
            if (tOmxNode) {
                tOmxNode->unlinkToDeath(mDeathNotifier);
            }
        }
        mDeathNotifier.clear();
    }

    mCodec->mUsingNativeWindow = false;
    mCodec->mNativeWindow.clear();
    mCodec->mNativeWindowUsageBits = 0;
    mCodec->mOMX.clear();
    // 释放OMXNodeInstance
    mCodec->mOMXNode.clear();
    mCodec->mFlags = 0;
    mCodec->mPortMode[kPortIndexInput] = IOMX::kPortModePresetByteBuffer;
    mCodec->mPortMode[kPortIndexOutput] = IOMX::kPortModePresetByteBuffer;
    mCodec->mConverter[0].clear();
    mCodec->mConverter[1].clear();
    mCodec->mComponentName.clear();
}

ACodec在两种情况下会切换至UninitializedState状态。第一种情况是当ACodec实例被创建，但组件还未被分配时。在这种情况下，进入UninitializedState状态并不需要执行任何操作，所以stateEntered中的内容可以忽略。

第二种情况则发生在组件被销毁之后，此时ACodec也会进入UninitializedState状态。在这种情况下，上一次播放用到的相关资源还未被释放，因此需要在stateEntered中做释放动作。

在 Android Media Framework（十二）OMXNodeInstance - Ⅴ 一文最后讲到，释放组件需要调用OMXNodeInstance::freeNode方法，但是该方法只能释放OMX组件实例，不能释放OMXNodeInstance实例本身。只有在ACodec解除对OMXNodeInstance实例的引用后，OMXNodeInstance才会被销毁。解除引用的动作在UninitializedState::stateEntered中执行，OMXNodeInstance实例在此刻被释放。

2、initiateAllocateComponent

ACodec创建完成后，MediaCodec需要调用initiateAllocateComponent方法来实例化OMX组件：

bool ACodec::UninitializedState::onMessageReceived(const sp<AMessage> &msg) {
    switch (msg->what()) {
        case ACodec::kWhatAllocateComponent:
        {
            onAllocateComponent(msg);
            handled = true;
            break;
        }
    }
}

kWhatAllocateComponent这条消息是在UninitializedState状态中被处理，最后调用到onAllocateComponent方法创建OMX组件实例。

bool ACodec::UninitializedState::onAllocateComponent(const sp<AMessage> &msg) {
    // 1. omx callback message
    sp<AMessage> notify = new AMessage(kWhatOMXMessageList, mCodec);
    notify->setInt32("generation", mCodec->mNodeGeneration + 1);

    // 2. 获取MediaCodecInfo
    sp<RefBase> obj;
    CHECK(msg->findObject("codecInfo", &obj));
    sp<MediaCodecInfo> info = (MediaCodecInfo *)obj.get();
    if (info == nullptr) {
        mCodec->signalError(OMX_ErrorUndefined, UNKNOWN_ERROR);
        return false;
    }
    AString owner = (info->getOwnerName() == nullptr) ? "default" : info->getOwnerName();

    AString componentName;
    CHECK(msg->findString("componentName", &componentName));
    // 3. 创建CodecObserver
    sp<CodecObserver> observer = new CodecObserver(notify);
    sp<IOMX> omx;
    sp<IOMXNode> omxNode;

    status_t err = NAME_NOT_FOUND;
    // 4. 获取media.codec service
    OMXClient client;
    if (client.connect(owner.c_str()) != OK) {
        mCodec->signalError(OMX_ErrorUndefined, NO_INIT);
        return false;
    }
    omx = client.interface();

    pid_t tid = gettid();
    int prevPriority = androidGetThreadPriority(tid);
    androidSetThreadPriority(tid, ANDROID_PRIORITY_FOREGROUND);
    // 5. 创建OMXNode
    err = omx->allocateNode(componentName.c_str(), observer, &omxNode);
    androidSetThreadPriority(tid, prevPriority);

    if (err != OK) {
        mCodec->signalError((OMX_ERRORTYPE)err, makeNoSideEffectStatus(err));
        return false;
    }
    // 6. 注册死亡通知
    mDeathNotifier = new DeathNotifier(new AMessage(kWhatOMXDied, mCodec));
    auto tOmxNode = omxNode->getHalInterface<IOmxNode>();
    if (tOmxNode && !tOmxNode->linkToDeath(mDeathNotifier, 0)) {
        mDeathNotifier.clear();
    }

    ++mCodec->mNodeGeneration;

    mCodec->mComponentName = componentName;
    mCodec->mRenderTracker.setComponentName(componentName);
    mCodec->mFlags = 0;
    // 7. 设定flags
    if (componentName.endsWith(".secure")) {
        mCodec->mFlags |= kFlagIsSecure;
        mCodec->mFlags |= kFlagIsGrallocUsageProtected;
        mCodec->mFlags |= kFlagPushBlankBuffersToNativeWindowOnShutdown;
    }

    mCodec->mOMX = omx;
    mCodec->mOMXNode = omxNode;
    // 8. 发送callback给MediaCodec
    mCodec->mCallback->onComponentAllocated(mCodec->mComponentName.c_str());
    // 9. 切换状态至LoadedState
    mCodec->changeState(mCodec->mLoadedState);

    return true;
}

onAllocateComponent中有如下几个操作需要了解：

  • 创建OMX Callback Message，OMXNodeInstance通过CodecObserver将消息回传给ACodec，ACodec需要重新将消息组织称为AMessage，最终送到ALooper中；

  • 调用initiateAllocateComponent传入的AMessage要有两个内容，一个是MediaCodecInfo，另一个是组件名称。这里有一个写法要注意，使用AMessage传递对象时，要将对象转化为sp传递，不能直接传递sp类型的对象，具体原因可以阅读AMessage实现；

  • OMXClient、IOMX、IOMXNode是对HIDL调用的封装，在之前的文章中已经对相关的内容做了描述，这里不再重复；

  • 代码中有一个mNodeGeneration，这个成员在ACodec中没有起实际的作用，可以忽略；

  • 如果组件的名称以 .secure 结尾，说明需要创建一个secure组件，ACodec会用mFlags成员记录下此信息，注意这里有三个标志位被拉起，后续需要用到它们；

  • 组件创建完成后，会调用MediaCodec给ACodec注册的Callback函数onComponentAllocated，通知上层组件创建完成，ACodec进入LoadedState了。与UninitializedState相同，ACodec也会有两种情况会进入LoadedState，一种是组件创建完成，另一种是组件被销毁，状态会从IdleToLoaded切换到LoadedState。这里只要看组件创建完成的情况，此时什么都不需要做。

3、initiateConfigureComponent

组件创建完成后就进入到了配置环节：

bool ACodec::LoadedState::onMessageReceived(const sp<AMessage> &msg) {
    switch (msg->what()) {
        case ACodec::kWhatConfigureComponent:
        {
            onConfigureComponent(msg);
            handled = true;
            break;
        }
    }
}

bool ACodec::LoadedState::onConfigureComponent(
        const sp<AMessage> &msg) {
    CHECK(mCodec->mOMXNode != NULL);

    status_t err = OK;
    AString mime;
    if (!msg->findString("mime", &mime)) {
        err = BAD_VALUE;
    } else {
        err = mCodec->configureCodec(mime.c_str(), msg);
    }
    if (err != OK) {
        mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
        return false;
    }

    mCodec->mCallback->onComponentConfigured(mCodec->mInputFormat, mCodec->mOutputFormat);

    return true;
}

onConfigureComponent首先会检查传入的格式信息是否包含mime，如果没有就会返回error；接着调用ACodec的configureCodec方法配置组件；最后调用onComponentConfigured结束MediaCodec的阻塞调用，同时回传input/output format。

4、configureCodec

configureCodec方法很长，本文不会对全部代码进行详细分析，我们将了解其中比较重要的format，并对PortMode设置进行深入研究。

    int32_t encoder;
    if (!msg->findInt32("encoder", &encoder)) {
        encoder = false;
    }

    mIsEncoder = encoder;
    mIsVideo = !strncasecmp(mime, "video/", 6);
    mIsImage = !strncasecmp(mime, "image/", 6);

    mPortMode[kPortIndexInput] = IOMX::kPortModePresetByteBuffer;
    mPortMode[kPortIndexOutput] = IOMX::kPortModePresetByteBuffer;

    status_t err = setComponentRole(encoder /* isEncoder */, mime);

进入函数体，首先会根据配置信息判断要配置的是否为encoder，这个信息也可以从组件名中获取。接着，根据mime类型判断要配置的是video、audio还是image。然后，会调用setComponentRole。

status_t ACodec::setComponentRole(
        bool isEncoder, const char *mime) {
    const char *role = GetComponentRole(isEncoder, mime);
    if (role == NULL) {
        return BAD_VALUE;
    }
    status_t err = SetComponentRole(mOMXNode, role);
    if (err != OK) {
    }
    return err;
}

const char *GetComponentRole(bool isEncoder, const char *mime) {
    struct MimeToRole {
        const char *mime;
        const char *decoderRole;
        const char *encoderRole;
    };

    static const MimeToRole kMimeToRole[] = {
        { MEDIA_MIMETYPE_AUDIO_MPEG,
            "audio_decoder.mp3", "audio_encoder.mp3" },
        // ...
        { MEDIA_MIMETYPE_VIDEO_AV1,
            "video_decoder.av1", "video_encoder.av1" },
    };

    static const size_t kNumMimeToRole =
        sizeof(kMimeToRole) / sizeof(kMimeToRole[0]);

    size_t i;
    for (i = 0; i < kNumMimeToRole; ++i) {
        if (!strcasecmp(mime, kMimeToRole[i].mime)) {
            break;
        }
    }

    if (i == kNumMimeToRole) {
        return NULL;
    }

    return isEncoder ? kMimeToRole[i].encoderRole
                  : kMimeToRole[i].decoderRole;

setComponentRole方法会从MimeToRole列表中查找指定的role，如果找到了，就将其设定给组件；如果没有找到合适的role，则返回错误。

MimeToRole列表在Framework中是预先设置好的，包含了一系列常见的媒体类型。若需新增一个解码器，比如H.266（VVC）解码器，除了要在OMXStore和相应的XML文件做修改外，还必须在MimeToRole列表中添加该媒体类型对应的role。如果忽略这一步，创建新的解码器时会在这里返回error。

接着往下看，configureCodec会先对Encoder的format进行解析：

关注公众号《青山渺渺》阅读全文
请添加图片描述

青山渺渺
关注
专栏目录
Android CCodec (一) 初始化流程
给大佬递杯卡布奇诺的博客
09-07 7361
Android 多媒体架构 Codec2 及 各个知识点分析链接地址
Android CCodec (九) CCodecBufferChannel数据回调分析
给大佬递杯卡布奇诺的博客
12-12 3967
1、引言 2、初始化分析 3、InputBuffer分析 4、OutputBuffer分析 5、总结
Android Codec2 CCodec（一）架构简介
青山渺渺
07-30 1398
在正式学习Codec2框架之前，我们应该先对它的设计理念和设计思路有简单的了解，相比OpenMAX框架，Codec2修改了哪些地方，有哪些由于原先框架的部分，这样学习起来才更有针对性。Codec2的处理模型使用了Frame-based Processing（基于帧的处理），该模型有几个特点，输入帧与输出帧之间有强相关，N帧输入对应着N帧输出且输入与输出之间的延迟为0。Codec2的参数都是被类型化了，是基于C风格的结构体的，大多说的参数只有一个字段，并且可以暴露给app。
Android ACodec学习
bencharluo的专栏
03-03 4500
enum PortMode {     KEEP_BUFFERS,     RESUBMIT_BUFFERS,     FREE_BUFFERS, } Android ACodec会根据当前处于哪个state来决定buffer如何处理。 KEEP_BUFFERS:当ACodec处于BaseState或者收到OnInputBufferFilled消息但是buffer里面没有填有效数据的时
Android Media Framework（十七）ACodec - Ⅴ
青山渺渺
08-11 1039
本篇文章我们一起来分析Executing状态下的数据处理流程。首先对上一篇文章做勘误：实际在调用allocateOutputBuffersFromNativeWindow分配buffer时我们会看到，一开始确实是分配了nBufferCountActual个buffer，但是后面又调用cancelBufferToNativeWindow销毁掉了备用的。可能有人要问，前面调用了useBuffer把备用的buffer也共享给了组件，会不会有问题呢？
Android Media Framework（十五）ACodec - Ⅲ
青山渺渺
08-09 1169
这一篇我们一起来了解ACodec的Buffer分配流程。
Android Media Framework（十三）ACodec - Ⅰ
青山渺渺
08-08 1122
从这一篇文章开始，我们就进入ACodec的学习了。ACodec作为IL Client的一部分，封装了OMX组件与OMXNodeInstance的调用细节，想要轻松学习ACodec需要熟悉OMX组件与OMXNodeInstance的工作原理。接下来的几篇文章，我们会在应用层面上（ACodec）对组件的配置、状态转换过程、Buffer分配过程以及销毁过程做深入剖析。在这一篇文章中，我们将深入学习ACodec的消息处理机制，虽然本章的篇幅比较短小，但是理解这一部分是后续学习的基础。
Android Media Framework（十八）ACodec - Ⅵ
青山渺渺
08-18 1260
ACodec之所以复杂，主要是因为状态太多。在上一篇文章中，我们学习了在ExecutingState下对buffer的处理。ExecutingState可能会切换到OutputPortSettingsChangedState、FlushingState，或者当组件被释放时，进入UninitializedState。接下来，我们将探讨这些情况下的buffer处理流程。
Android Media Framework（十六）ACodec - Ⅳ
青山渺渺
08-11 313
上一篇文章讲了ACodec的buffer分配过程，有同学读完后提出了一些问题，所以本篇内容是对上一篇文章的补充。本篇内容将会了解Graphic Output Buffer Count的计算方式，复习useBuffer的调用，学习ACodecBufferChannel。
[Android Video Framework]ACodec加载OMX
少侠的专栏
01-31 3034
OpenMAX确立了一套标准的接口，上层App直接调用这些接口，底层硬件厂商直接实现这些接口， 从而实现了上层软件开发与底层芯片开发地彻底分离，加速了跨平台的多媒体组件的开发、整合和编程。 Android上的MediaCodec是通过ACodec来加载openmax层，了解OMX加载过程，有助于我们更好的分析问题和解决问题 加载过程还需从ACodec::UninitializedState::on...
Android10以上Codec2框架解码流程(二十六)
Android系统攻城狮
07-18 2240
Android10支持Codec2，Android12后OMX框架将弃用。 1.相比于ACodec+OMX的中间件框架，Codec 2.0将具备若干特性：组件连通（component chaining），过滤器（filters），配置可查询（configureation querying）。插件化。 2.在性能上，相比于ACodec+OMX框架，Codec 2.0的解码组件与编码组件所依赖的Buffer管理机制具备零拷贝特性，避免大块数据的拷贝所引起的性能降低。.....................
[Android Video Framework] MediaCodec.cpp详解
少侠的专栏
01-31 3824
MediaCodec是Android Video Framework中一个很重要的类，可以被NuPlayer直接使用 也可以被MediaCodec.java通过JNI的方式直接调用,可以赋予app很高的自由性， 是多媒体开发中的一个很重要的类 1、创建 创建MediaCodec有两种方式，一种是 CreateByType， 根据应用或NuPlayer传递下来的MIME来创建； 另一种是 Creat...
Android10之Video MediaCodec硬解码流程(二十七)
Android系统攻城狮
07-28 985
Android10之Video MediaCodec硬解码流程
Android判断是否使用MediaCodec硬解码(十二)
Android系统攻城狮
03-30 4755
参考 参考二 0.Android硬编解码测试程序： cts/tests/tests/media/src/android/media/cts/EncodeDecodeTest.java 1.调用硬编解码 frameworks/base/media/java/android/media/MediaCodec.java /* If this codec is to be used as an ...
Android - NDK:在Jni中打印Log信息
dami_lixm的专栏
09-10 311
在Jni中打印Log信息 1、在配置CMakeLists.txt find_library( # Sets the name of the path variable. log-lib # Specifies the name of the NDK library that # you want CMake to locate. log) # Specifies libraries CMake should link to your targ
Apple M3编译OpenSSL安卓平台SO库
09-13 113
添加ANDROID_NDK_ROOT环境变量，iosdev改为你自己的用户名。头文件安装位置：/usr/local/include/openssl。2.配置NDK环境变量：vim ~/.zprofile。5.安装： sudo make install。添加NDK下可执行文件路径到PATH环境变量。库文件安装位置：/usr/local/lib。进入openssl源码目录，执行下面指令。4.编译：输入make后回车。验证文件是否为arm平台的。
Unity for Android使用蓝牙低功耗Bluetooth LE
最新发布
zouxin_88的专栏
09-13 424
插件：Bluetooth LE for iOS and Android v2.3.unitypackage。
ffmpeg -acodec
09-27
FFmpeg是一个开源的跨平台的音视频处理工具。引用中提到了一种使用FFmpeg将mp4文件转化为ts流视频的方法。命令为：ffmpeg -i XX.mp4 -c:v copy -c:a libmp3lame -f mpegts XX.ts。引用给出了另一个例子，将MP4文件转为avi格式的命令为：./ffmpeg.exe -i input.mp4 output.avi。你还提到了一个博客，可以进一步了解FFmpeg的视频编码和解码功能。 关于你的问题，ffmpeg -acodec是FFmpeg的一个选项，用于指定音频编解码器。通过指定不同的编解码器，可以实现不同的音频处理效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青山渺渺

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值