MediaPlayer_Analyze-6-MediaCodec和ACodec

已于 2022-09-15 11:46:43 修改
阅读量303 收藏 2
点赞数
分类专栏： Android音视频开发 Android-Framework 文章标签： MediaPlayer framework
于 2022-09-15 11:33:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tujidi1csd/article/details/126867948
版权
本文详细分析了Android系统中MediaCodec和ACodec的交互流程，从初始化、设置数据源、准备、开始播放等步骤，揭示了MediaCodec如何通过ACodec与OMX组件进行通信，涉及组件创建、配置、启动等关键过程。
摘要由CSDN通过智能技术生成

MediaPlayer Analyze - MediaCodec和ACodec

Refrence

  1. Android ACodec MediaCodec NuPlayer flow
  2. MediaCodec对接到OMX的简单分析
  3. ACodec详细解析
  4. MediaPlayer

文中序列图用 websequencediagrams 在线工具画的

ACodec在整个NuPlayer架构中的位置

buffer传输过程

一 初始化

framework层的MediaPlayer初始化未调用NuPlayer用关的函数，进而未调用MediaCodec。

二 设置Source setDataSource

NuPlayer的setDataSource直接返回结果给NuPlayerDriver，没有调用到MediaCodec。

三 准备 prepare

NuPlayer的prepare设置了一些参数，没有调用到MediaCodec。

四 开始/恢复播放 start/resume

4.1 NuPlayerDecoder中mCodec = MediaCodec::CreateByComponentName(mCodecLooper, mComponentName.c_str(), NULL /* err */, mPid, mUid);

frameworks\av\media\libstagefright\MediaCodec.cpp

sp<MediaCodec> MediaCodec::CreateByType(const sp<ALooper> &looper, const AString &mime, bool encoder, status_t *err, pid_t pid, uid_t uid) {
    Vector<AString> matchingCodecs;

    MediaCodecList::findMatchingCodecs(
            mime.c_str(),
            encoder,
            0,
            &matchingCodecs);

    if (err != NULL) {
        *err = NAME_NOT_FOUND;
    }
    for (size_t i = 0; i < matchingCodecs.size(); ++i) {
        // 创建MediaCodec实例对象
        sp<MediaCodec> codec = new MediaCodec(looper, pid, uid);
        AString componentName = matchingCodecs[i];
        // 调用MediaCodec::init进行初始化
        status_t ret = codec->init(componentName);
        if (err != NULL) {
            *err = ret;
        }
        if (ret == OK) {
            return codec;
        }
        ALOGD("Allocating component '%s' failed (%d), try next one.", componentName.c_str(), ret);
    }
    return NULL;
}

status_t MediaCodec::init(const AString &name) {
    ......
    // 实例化ACodec，此处的mCodec未ACodec实例
    mCodec = GetCodecBase(localname, owner);
    ......
    // 注册hanlder用于消息处理
    mLooper->registerHandler(this);
    ......
    // 发送kWhatInit消息
    sp<AMessage> msg = new AMessage(kWhatInit, this);
    ......
    status_t err;
    std::vector<MediaResourceParcel> resources;
    resources.push_back(MediaResource::CodecResource(secureCodec, mIsVideo));
    for (int i = 0; i <= kMaxRetry; ++i) {
        if (i > 0) {
            // Don't try to reclaim resource for the first time.
            if (!mResourceManagerProxy->reclaimResource(resources)) {
                break;
            }
        }

        sp<AMessage> response;
        err = PostAndAwaitResponse(msg, &response);
        if (!isResourceError(err)) {
            break;
        }
    }
    return err;
}

sp<CodecBase> MediaCodec::GetCodecBase(const AString &name, const char *owner) {
    if (owner) {
        if (strcmp(owner, "default") == 0) {
            return new ACodec;
        } else if (strncmp(owner, "codec2", 6) == 0) {
            return CreateCCodec();
        }
    }

    if (name.startsWithIgnoreCase("c2.")) {
        return CreateCCodec();
    } else if (name.startsWithIgnoreCase("omx.")) {
        // at this time only ACodec specifies a mime type.
        return new ACodec;
    } else if (name.startsWithIgnoreCase("android.filter.")) {
        return new MediaFilter;
    } else {
        return NULL;
    }
}

void MediaCodec::onMessageReceived(const sp<AMessage> &msg) {
    switch (msg->what()) {
        ......
        case kWhatInit:
        {
            ......
            // 调用ACodec::initiateAllocateComponent
            mCodec->initiateAllocateComponent(format);
            break;
        }
        ......
    }
}

frameworks\av\media\libstagefright\ACodec.cpp

void ACodec::initiateAllocateComponent(const sp<AMessage> &msg) {
    msg->setWhat(kWhatAllocateComponent);
    msg->setTarget(this);
    msg->post();
}

bool ACodec::UninitializedState::onMessageReceived(const sp<AMessage> &msg) {
    bool handled = false;

    switch (msg->what()) {
        ......
        case ACodec::kWhatAllocateComponent:
        {
            onAllocateComponent(msg);
            handled = true;
            break;
        }
        ......
    }
}

bool ACodec::UninitializedState::onAllocateComponent(const sp<AMessage> &msg) {
    ......
    sp<CodecObserver> observer = new CodecObserver(notify);
    sp<IOMX> omx;
    sp<IOMXNode> omxNode;

    status_t err = NAME_NOT_FOUND;
    // 获取OMX的binder对象
    OMXClient client;
    if (client.connect(owner.c_str()) != OK) {
        mCodec->signalError(OMX_ErrorUndefined, NO_INIT);
        return false;
    }
    omx = client.interface();

    pid_t tid = gettid();
    int prevPriority = androidGetThreadPriority(tid);
    androidSetThreadPriority(tid, ANDROID_PRIORITY_FOREGROUND);
    // 申请omx组件
    err = omx->allocateNode(componentName.c_str(), observer, &omxNode);
    androidSetThreadPriority(tid, prevPriority);

    if (err != OK) {
        ALOGE("Unable to instantiate codec '%s' with err %#x.", componentName.c_str(), err);

        mCodec->signalError((OMX_ERRORTYPE)err, makeNoSideEffectStatus(err));
        return false;
    }
    ......
    // 保存OMX相关对象，此时就和OMX关联起来了
    mCodec->mOMX = omx;
    mCodec->mOMXNode = omxNode;
    // 回调通知MediaCodec
    mCodec->mCallback->onComponentAllocated(mCodec->mComponentName.c_str());
    mCodec->changeState(mCodec->mLoadedState);

    return true;
}

4.2 NuPlayerDecoder中err = mCodec->configure(format, mSurface, crypto, 0 /* flags */);

frameworks\av\media\libstagefright\MediaCodec.cpp

status_t MediaCodec::configure(
        const sp<AMessage> &format,
        const sp<Surface> &surface,
        const sp<ICrypto> &crypto,
        const sp<IDescrambler> &descrambler,
        uint32_t flags) {
    sp<AMessage> msg = new AMessage(kWhatConfigure, this);
    ......
}

void MediaCodec::onMessageReceived(const sp<AMessage> &msg) {
    switch (msg->what()) {
        ......
        case kWhatConfigure:
        {
            ......
            setState(CONFIGURING);
            ......
            mCodec->initiateConfigureComponent(format);
            break;
        }
        ......
    }
}

frameworks\av\media\libstagefright\ACodec.cpp

void ACodec::initiateConfigureComponent(const sp<AMessage> &msg) {
    msg->setWhat(kWhatConfigureComponent);
    msg->setTarget(this);
    msg->post();
}

bool ACodec::LoadedState::onMessageReceived(const sp<AMessage> &msg) {
    bool handled = false;

    switch (msg->what()) {
        case ACodec::kWhatConfigureComponent:
        {
            onConfigureComponent(msg);
            handled = true;
            break;
        }
        ......
    }
}


bool ACodec::LoadedState::onConfigureComponent(
        const sp<AMessage> &msg) {
    ALOGV("onConfigureComponent");

    CHECK(mCodec->mOMXNode != NULL);

    status_t err = OK;
    AString mime;
    if (!msg->findString("mime", &mime)) {
        err = BAD_VALUE;
    } else {
        err = mCodec->configureCodec(mime.c_str(), msg);
    }
    if (err != OK) {
        ALOGE("[%s] configureCodec returning error %d", mCodec->mComponentName.c_str(), err);

        mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
        return false;
    }

    mCodec->mCallback->onComponentConfigured(mCodec->mInputFormat, mCodec->mOutputFormat);

    return true;
}


status_t ACodec::configureCodec(const char *mime, const sp<AMessage> &msg) {
    // 内容很多，主要是通过mCodec->mOMXNode对OMX进行参数配置
    ......
}

4.3 NuPlayerDecoder中err = mCodec->start();

frameworks\av\media\libstagefright\MediaCodec.cpp

status_t MediaCodec::start() {
    sp<AMessage> msg = new AMessage(kWhatStart, this);
    ......
}

void MediaCodec::onMessageReceived(const sp<AMessage> &msg) {
    switch (msg->what()) {
        ......
        case kWhatStart:
        {
            sp<AReplyToken> replyID;
            CHECK(msg->senderAwaitsResponse(&replyID));

            if (mState == FLUSHED) {
                setState(STARTED);
                if (mHavePendingInputBuffers) {
                    onInputBufferAvailable();
                    mHavePendingInputBuffers = false;
                }
                mCodec->signalResume();
                PostReplyWithError(replyID, OK);
                break;
            } else if (mState != CONFIGURED) {
                PostReplyWithError(replyID, INVALID_OPERATION);
                break;
            }

            mReplyID = replyID;
            setState(STARTING);

            mCodec->initiateStart();
            break;
        }
        ......
    }
}

frameworks\av\media\libstagefright\ACodec.cpp

void ACodec::initiateStart() {
    (new AMessage(kWhatStart, this))->post();
}

bool ACodec::LoadedState::onMessageReceived(const sp<AMessage> &msg) {
    bool handled = false;

    switch (msg->what()) {
        ......
        case ACodec::kWhatStart:
        {
            onStart();
            handled = true;
            break;
        }
        ......
    }
}

void ACodec::LoadedState::onStart() {
    ALOGV("onStart");

    status_t err = mCodec->mOMXNode->sendCommand(OMX_CommandStateSet, OMX_StateIdle);
    if (err != OK) {
        mCodec->signalError(OMX_ErrorUndefined, makeNoSideEffectStatus(err));
    } else {
        mCodec->changeState(mCodec->mLoadedToIdleState);
    }
}

五 暂停 pause

TODO

六 停止 stop

TODO

七 重置 reset

TODO

八 释放 release

TODO

Bing0lin
关注
专栏目录
/usr/lib/x86_64-linux-gnu/libQt5Core.so.not found的解决办法
Studying……
11-02 1244
原因是ros在安装的时候，也安装了一些qt的依赖库，位于/usr/lib/x86_64-linux-gnu/路径。删掉这些库，用自己安装的库替换掉即可。
android MediaCodec ACodec
husanlim 的专栏
04-21 5419
MediaCodecMediaCodec类可用于访问Android底层的媒体编解码器，例如，编码/解码组件。它是Android为多媒体支持提供的底层接口的一部分（通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, 以及AudioTrack一起使用）。从广义上讲，一个编解码器通过处理输入数据...
MediaCodec与ACodec通知分析
蓝精灵的专栏
12-29 3362
ACodec与MediaCodec的通知。OMX的组件解码之后，当ACodec的onOMXFillBufferDone会被回调，去取得解码后的数据。 ACodec在onOMXFillBufferDone调用后会调用notify通知MediaCodec（notify->setInt32("what", CodecBase::kWhatDrainThisBuffer);//发给MediaCodec的
Android Media Framework（十四）ACodec - Ⅱ
最新发布
青山渺渺
08-09 1030
这一节我们一起来分析ACodec的创建、组件分配和组件配置过程，内容较为简单，轻松阅读吧。
android ACodec MediaCodec NuPlayer flow
husanlim 的专栏
04-22 4209
MediaCodec/ACodec流程i. 初始化（从java层开始）：1、 java层中调用MediaCodec.createEncoder/DecoderByType(…)或MediaCodec.createByCodecName(…)创建编码器或者解码器2、 根据不同的参数new MediaCodec，然后其中会调用native_setup(…)3、 Native层android_media...
（2）android MediaPlayer 和Nupalyer、MediaCodec、OMX关系
Canok
09-26 1898
MediaCodec 又转而使用ACodec, (ACodec， 即android codec),注意这里各种命名和包装的关系，很有层次感，并不是无端就这么多层次来恶心人的。 ACodec 才是android平台上codec的实现，但是为了屏蔽硬件厂商的实现差异，对上提供统一的接口，android 上对硬件厂商提供的编解码器用openMax 标准接口进行规范，（原本上openMax不仅仅规定了code的接口形式，甚至是demuxer都有，一套组件接口，但是android 只是使用了 code）。 所以 以O
从0开发打造视频播放器
白云天的博客
06-06 1057
从零打造视频播放器，实现视频播放、rtsp流播放、视频比例切换、全屏切换
demo_vlc_qt-master.zip
09-08
Qt是一个广泛使用的C++图形用户界面应用程序开发框架，适用于多种操作系统，包括Windows、Linux和macOS。通过将VLC与Qt结合，我们可以利用Qt的强大界面设计功能，同时享受VLC的多媒体处理能力。 首先，集成VLC与Qt...
Mediaplayer_configure.rar-综合文档
05-11
在Android系统中，`MediaPlayer`是用于播放音频和视频文件的核心组件。这份文档将深入解析`MediaPlayer`的本地播放流程，重点关注`Prepare`之后直至`AwesomePlayer`的部分。`MediaPlayer`的生命周期及播放机制对于...
platform_external_android-visualizer
06-06
一个 View 子类，它从 Android MediaPlayer 获取输入并显示可视化，如在 iTunes 或 WinAmp 中 Visualizer 设计为模块化，因此很容易组合可视化以创建更复杂的效果。 例子 创建您自己的自定义可视化或组合/编辑现有...
android_external_android-visualizer
05-25
一个View子类，它从Android MediaPlayer接收输入并显示可视化效果，例如iTunes或WinAmp Visualizer设计为模块化的，因此很容易组合可视化以创建更复杂的效果。 例子 创建自己的自定义可视化或合并/编辑现有可视化...
acodec：具有图形用户界面的各种算法的编码器和解码器
02-24
编解码器 图形用户界面可用于Windows，Linux和macOS。 下载 从下载。 安装 Windows ：如果您下载了ZIP包，则只需解压缩存档即可； 否则，请运行安装程序（EXE）来安装该应用程序。 如果Windows抱怨Windows保护您的PC弹出窗口，则可能仍然需要单击“运行”以继续安装。 为了启用“仍然运行”按钮，您可能需要打开安装程序的“属性”标签，“常规” ，“安全性”部分（如果可用），然后勾选“取消阻止”选项。 Linux和macOS ：解压缩存档。 此应用程序需要 v1.8（或更高版本）才能运行。 命令行参考 Usage : acodec < mode> < algorithm> [ - c < charset> ] { < text> | - f < source> [ < destination> ]
Android ACodec学习
bencharluo的专栏
03-03 4509
enum PortMode {     KEEP_BUFFERS,     RESUBMIT_BUFFERS,     FREE_BUFFERS, } Android ACodec会根据当前处于哪个state来决定buffer如何处理。 KEEP_BUFFERS:当ACodec处于BaseState或者收到OnInputBufferFilled消息但是buffer里面没有填有效数据的时
Android 13 - Media框架（19）- ACodec（一）
青山渺渺
12-08 1166
这一节我们将会了解 ACodec 的状态转换机制，从 ACodec 的基类名称HierarchicalStateMachine来看，它用到的是分层状态机，了解这里的状态转换将会对我们学习 OpenMax 会有所帮助，也会对我们自己的代码书写有所帮助。
Android 13 - Media框架（22）- ACodec（四）
青山渺渺
12-14 2333
前面两节我们了解了 ACodec 的创建及配置流程，配置完成后 ACodec 进入了 LoadedState，这一节开始将会了解 ACodec 的启动过程。调用 ACodec::initiateStart 方法发出的 kWhatStart 消息将有 LoadedState 状态来处理，这个方法会向 OMX 组件发送命令，将组件的状态设定为，之后将 ACodec 的状态切换到中间等待状态。
Android ACodec消息机制一
bencharluo的专栏
09-19 3350
ACodec有一个BaseState和派生出来的其他State. FlushingState,ExecutingState等。     当有消息来的时候，如果派生类有重写，则会调到重写的方法里，如果没有，则会调到BaseState.     ACodec收到的消息分两种，一种是MediaCodec传过来的，一种是OMX Component传过来的。分别对应onMessageReceived和o
Android ACodec状态机模型
少侠的专栏
02-03 1149
Android 的ACodec 用于管理底层各个Component的各种状态 采用了设计模式中的状态机模式 一共有九种状态，搞明白各种状态之间的转换逻辑，对于我们再去读代码会有比较好的帮助 交互逻辑如下： ...
16. Android MultiMedia框架完全解析 - ACodec详细解析
吾皇的博客
04-01 6247
之前的文章中，已经多次分析过ACodec，但是我仍然认为有必要单独拿出来一节分析其中的一些机制与流程，下面先来看看ACodec在整个NuPlayer架构中的位置： 1、ACodec消息机制： ACodec有一个BaseState和派生出来的其他State，如 UninitializedState,LoadedToIdleState, ExecutingState等。当有消息过来时，如果派生...
Traceback (most recent call last): File "D:/yolov7-lpr/yolov7_plate-master/UI/VideoPlay/main.py", line 41, in <module> player = VideoPlayer() File "D:/yolov7-lpr/yolov7_plate-master/UI/VideoPlay/main.py", line 28, in __init__ vboxLayout.addWidget(self.mediaPlayer.videoOutput()) AttributeError: 'QMediaPlayer' object has no attribute 'videoOutput'
05-24
这个错误是因为你的 `...self.mediaPlayer = QMediaPlayer(self) videoWidget = QVideoWidget() self.mediaPlayer.setVideoOutput(videoWidget) ``` 这样你就可以在 `vboxLayout` 中添加 `videoWidget` 了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值