12. Android MultiMedia框架完全解析 - 从NuPlayer到MediaCodec到ACodec到OMX的整体流程与状态转换

前言

之前的文章中，讲了那么多细节的东西，已经对概况没有一个大致的了解，所以这里缕一下整体的流程，同时也分析MediaCodec，ACodec与OMX Plugin之间的状态切换关系。

1. 初始化过程（从NuPlayer开始）：

1.1 NuPlayer::start()

1. NuPlayer::start()时产生一个kWhatStart，在消息处理函数中如果是暂停后的开始就调用NuPlayer::onResume()【只需mSource->resume()和mRenderer->resume()】，否则调用NuPlayer::onStart()；

2. 在函数NuPlayer::onStart()中会先后进行如下操作：（设置Source状态、初始化Renderer、初始化Decoder，并将三者关联起来），这里的Renderer其实是NuPlayerRenderer.cpp内部的Renderer。

   2.1 若mSource【source类对象】没有开始，则mSource->start()，来启动音视频包读取；

   2.2 创建Renderer并为其创建一个名为mRendererLooper的ALooper，这里通过setPlaybackSettings函数，来为Renderer设置时钟频率，与MediaClock关联起来，这个时钟在音视频同步中很重要。然后获取Framerate，设置到Renderer中，并使用setRenderer方法将Render与Decoder关联起来（这里需要讲音频Decoder和视频Decoder都与Renderer关联起来）。

   2.3 调用NuPlayer::postScanSources()，然后其中生成kWhatScanSources消息，在消息处理中会根据情况调用NuPlayer::instantiateDecoder(…)初始化video或者audio解码器【需要在audio解码器之前实例化video解码器，因为成功初始化视频解码器可能会改变音频解码器的深度缓冲模式】。

    在instantiateDecoder中又会：
    
    2.3.1）根据情况用new Decoder(…)创建音视频解码器（NuPlayer::Decoder），为其创建名为mCodecLooper的ALooper
    		【其父类NuPlayer::DecoderBase的构造中则会创建mDecoderLooper】。
    
    2.3.2）对该解码器进行init()操作，调用NuPlayer::DecoderBase::init()为mDecoderLooper注册handler
    		【init()和configure()都是NuPlayerDecoder继承自NuPlayer::DecoderBase的方法】
    
    2.3.3）对该解码器进行configure(format)操作。
    		调用NuPlayer::DecoderBase::configure(…)产生一个kWhatConfigure消息。
    		然后消息处理中调用NuPlayer::Decoder::onConfigure(…)。
    		在onConfigure中，首先会调用MediaCodec::CreateByType(…)或者MediaCodec::CreateByComponentName(…)
    		根据情况创建MediaCodec，接着调用MediaCodec::init(…)；
    		随后调用MediaCodec::configure(…)对MediaCodec进行配置使其转入Configured状态；
    		然后又调用MediaCodec::start()使MediaCodec转入Started状态。
   

P.S. 1： MediaCodec::createByType()/MediaCodec::CreateByComponentName()的调用：

首先new一个MediaCodec，之后就调用MediaCodec的构造函数，设置MediaCodec的状态为UNINITIALIZED。调用codec->init()函数，在这个函数中，通过GetCodecBase来创建ACodec，然后发送kWhatInit消息，在消息处理中，设置MediaCodec状态为INITIALIZING，之后通过mCodec->initiateAllocateComponent(format)调用到ACodec的ACodec::initiateAllocateComponent()函数，这个函数发送kWhatAllocateComponent消息，在消息处理函数中，通过onAllocateComponent()里面的omx->allocateNode()函数来创建OMX插件，之后设置ACodec状态为Loaded，同时ACodec向MediaCodec返回CodecBase::kWhatComponentAllocated消息，在这个消息处理函数中，设置MediaCodec状态为INITIALIZED。（MediaCodec状态从INITIALIZING转换为INITIALIZED）

P.S. 2： MediaCodec::configure(…)的调用：

产生kWhatConfigure消息，在消息处理中调用ACodec::initiateConfigureComponent(…)又产生消息kWhatConfigureComponent，然后该消息处理中又调用了ACodec::LoadedState::onConfigureComponent(…)。然后在其中又会先调用ACodec::configureCodec(…)，在configureCodec中会对IOMX进行一系列的设置以及配置操作，通过Binder通信就对OMXNodeInstance进行相应的设置和配置操作，最终就对OMX组件进行了相应的设置和配置。然后向MediaCodec发送kWhatComponentConfigured消息，在消息处理中将MediaCodec状态设为CONFIGURED；（MediaCodec状态从CONFIGURING转换为CONFIGURED）

P.S. 3： MediaCodec::start()的调用：

产生kWhatStart消息，消息处理中先将MediaCodec状态设为STARTING，然后调用ACodec::initiateStart()产生kWhatStart消息，在其消息处理中又调用ACodec::LoadedState::onStart()，然后在其中首先向IOMX发送状态转换命令，经过OMXNodeInstance最终对将OMX组件状态转换成Idle（转换完成时OMX会发送OMX_EventCmdComplete事件），接着对ACodec进行changeState至LoadedToIdleState。而在changeState过程中会调用ACodec::LoadedToIdleState::stateEntered() => ACodec::LoadedToIdleState::allocateBuffers() => ACodec::allocateBuffersOnPort(…)，其中会为OMX组件端口分配缓冲，并向MediaCodec发送消息kWhatBuffersAllocated，消息处理中将MediaCodec状态设为STARTED，而若allocateBuffers失败则由IOMX经OMXNodeInstance将OMX组件转换回Loaded状态，同时把ACodec状态转换回LoadedState。（MediaCodec状态从STARTING转换为STARTED）

2. 数据处理流程1（emptyBuffer）

1. MediaCodec::start()之后ACodec此时处于LoadedToIdleState状态，此时若ACodec::LoadedToIdleState::onOMXEvent(…)接收到OMX组件转换至Idle状态后的OMX_EventCmdComplete事件，会向IOMX发送状态转换命令，将组件状态转换成Executing，经过OMXNodeInstance最终对将OMX组件状态转换成Executing状态（这里如果OMX组件状态转换完成后，会向ACodec发送OMX_EventCmdComplete事件），然后ACodec进行changeState至IdleToExecutingState。

2. 此时ACodec::IdleToExecutingState::onOMXEvent(…)检测到上面的OMX_EventCmdComplete事件后，会首先调用函数ACodec::ExecutingState::resume()，然后对ACodec进行changeState至ExecutingState。

3. 在函数ACodec::ExecutingState::resume()中会调用ACodec::BaseState::postFillThisBuffer(…)，然后其中会先向MediaCodec发送kWhatFillThisBuffer消息，消息处理中在满足相应的条件下就会去调用函数MediaCodec::onInputBufferAvailable()来通知NuPlayer::Decoder有可用的input buffer；然后再生成kWhatInputBufferFilled消息，消息处理中调用ACodec::BaseState::onInputBufferFilled(…)。

【此时产生了两个消息，一个是向上(MediaCodec)处理的postFillThisBuffer消息，一个向下(OMX)处理的kWhatInputBufferFilled消息，分别对应上图的步骤7，8】

P.S. 1：MediaCodec::onInputBufferAvailable()的调用：

其中会先调用函数MediaCodec::dequeuePortBuffer(…)获取buffer的索引，然后将一个新消息发送给NuPlayer::Decoder，并设置消息的callbackID为CB_INPUT_AVAILABLE，同时设置index，接着NuPlayer::Decoder接收到该CB_INPUT_AVAILABLE消息，在消息处理中调用NuPlayer::Decoder::handleAnInputBuffer(…)，其会：

1）先通过MediaCodec::getInputBuffer(…) -> MediaCodec::getBufferAndFormat(…)获取该buffer

2）然后调用NuPlayer::Decoder::onInputBufferFetched(…)执行内存拷贝将buffer拷贝到编解码器，然后又调用了MediaCodec::queueInputBuffer(…)将buffer提交给解码器，其会产生消息kWhatQueueInputBuffer，消息处理中调用MediaCodec::onQueueInputBuffer(…)

3）之后调用函数NuPlayer::DecoderBase::onRequestInputBuffers()，处理是否需要更多的数据。其中会调用NuPlayer::Decoder::doRequestBuffers，若返回true则需要更多的数据，则会产生新消息kWhatRequestInputBuffers，消息处理中又将调用onRequestInputBuffers。（实际获取更多缓冲的操作在下面ACodec部分完成）

P.S. 2：ACodec::BaseState::onInputBufferFilled(…)的调用：

因为当前ACodec在ExecutingState，所以PortMode为RESUBMIT_BUFFERS，故会调用IOMX的emptyBuffer(…)方法，经过进程间通信调用到OMX::emptyBuffer(…)，并最终调用OMXNodeInstance::emptyBuffer(…)，其中又会调用到函数OMXNodeInstance::emptyBuffer_l(…)，其则会调用OMX_EmptyThisBuffer宏对OMX组件进行相关的操作（根据需要选择相应的软解组件或者硬解组件）。对于软解组件SoftOMXComponent

1）其的构造函数的初始化列表中有mComponent->EmptyThisBuffer = EmptyThisBufferWrapper;故实际会调用其EmptyThisBufferWrapper(…)函数，而其中调用SoftOMXComponent的虚函数emptyThisBuffer。

2）所以调用子类的emptyThisBuffer即SimpleSoftOMXComponent::emptyThisBuffer(…)产生kWhatEmptyThisBuffer消息，消息处理中实际的解码器就要调用onQueueFilled(…)函数【实际组件继承自SimpleSoftOMXComponent】

3）接着会调用SoftOMXComponent::notifyEmptyBufferDone(…)使用OMX的回调机制，闭环发送消息到OMX客户端ACodec。

4）调用到OMXNodeInstance::OnEmptyBufferDone(…)，其又会调用OMX::OnEmptyBufferDone(…)，然后在其中会发送omx_message::EMPTY_BUFFER_DONE消息，ACodec中收到该消息【CodecObserver中先收到，但只设置消息】调用ACodec::BaseState::onOMXEmptyBufferDone(…)

5）在onOMXEmptyBufferDone中获取PortMode，为RESUBMIT_BUFFERS则ACodec::BaseState::postFillThisBuffer(…)被调用，从而又从3）中的postFillThisBuffer开始循环执行相关操作以处理更多的输入缓冲。

这个流程就是图中左边的循环：

3. 数据处理流程2（fillBuffer）

1. 在上面OMX组件向ACodec发送OMX_EventCmdComplete事件后会调用到ACodec::ExecutingState::resume()函数，在resume()中调用ACodec::BaseState::postFillThisBuffer(…)前会先调用函数ACodec::ExecutingState::submitOutputBuffers()，即在获取输入数据前会先把输出端的数据提交出去。

2. 在submitOutputBuffers()中调用ACodec::ExecutingState::submitRegularOutputBuffers()，其中又会调用到IOMX的fillBuffer (…)方法，经过进程间通信调用到OMX:: fillBuffer (…)，并最终调用OMXNodeInstance:: fillBuffer (…)，其中又会调用到OMX_FillThisBuffer宏对OMX组件进行相关的操作（同样根据需要选择相应的软解组件或者硬解组件）。对于软解组件SoftOMXComponent：（下面的操作与emptyBuffer时类似）

2.1 在其构造函数的初始化列表中有mComponent->FillThisBuffer = FillThisBufferWrapper;所以实际会调用到其FillThisBufferWrapper (…)函数；

2.2 然后调用SimpleSoftOMXComponent::fillThisBuffer(…)产生kWhatFillThisBuffer消息，消息处理中实际的组件就要调用onQueueFilled(…)函数【实际组件继承自SimpleSoftOMXComponent】；

2.3 接着会调用SoftOMXComponent::notifyFillBufferDone(…)使用OMX的回调机制，闭环发送消息到OMX客户端ACodec；

2.4 之后调用到OMXNodeInstance:: OnFillBufferDone (…)函数，其又会调用OMX:: OnFillBufferDone (…)，然后在其中会发送omx_message:: FILL_BUFFER_DONE消息，ACodec中收到该消息【CodecObserver中先收到，但只设置消息】调用ACodec::BaseState:: onOMXFillBufferDone (…)；

2.5 在onOMXFillBufferDone中获取PortMode，为RESUBMIT_BUFFERS则首先如果需要继续调用到IOMX的fillBuffer (…)填充输出缓冲重复做相关操作，接着ACodec又会生成一个kWhatOutputBufferDrained消息存在reply中，作为kWhatDrainThisBuffer消息的返回消息【notify->setMessage(“reply”, reply);】，然后向MediaCodec发送消息kWhatDrainThisBuffer，消息处理中调用函数MediaCodec::onOutputBufferAvailable()通知NuPlayer::Decoder有可用的output buffer，其中会设置消息的callbackID为CB_OUTPUT_AVAILABLE，同时设置index，接着NuPlayer::Decoder接收到该CB_OUTPUT_AVAILABLE消息，在消息处理中调用NuPlayer::Decoder::handleAnOutputBuffer(…)，在其中会进行如下处理：

2.5.1先通过MediaCodec:: getOutputBuffer (…) -> MediaCodec::getBufferAndFormat(…)获取该buffer的信息；

2.5.2 若Renderer非空则会调用NuPlayer::Renderer::queueBuffer(…)进行Renderer的相关处理同时消耗产生的kWhatRenderBuffer消息。queueBuffer()会产生kWhatQueueBuffer消息，消息处理中会调用函数NuPlayer::Renderer::onQueueBuffer(…) –> NuPlayer::Renderer::postDrainVideoQueue() 【另外有audio的相关处理】，其中产生kWhatDrainVideoQueue消息，消息处理中调用先NuPlayer::Renderer::onDrainVideoQueue()在VideoQueue中取相关数据，再调用NuPlayer::Renderer::postDrainVideoQueue()循环取video数据，接着还会发送kWhatRenderBuffer消息；

2.5.3 在kWhatRenderBuffer消息处理中会调用NuPlayer::Decoder::onRenderBuffer(…)，在其中根据情况调用函数MediaCodec::renderOutputBufferAndRelease(…)渲染并释放，或者调用MediaCodec::releaseOutputBuffer(…)不渲染直接释放，两中情况都会产生kWhatReleaseOutputBuffer消息，该消息处理中调用函数MediaCodec::onReleaseOutputBuffer(…)，其中判断若SoftRenderer非空则进行软件渲染，不然就会通过5）中的reply让ACodec去硬件渲染，在kWhatOutputBufferDrained消息处理就会中调用到函数ACodec::BaseState::onOutputBufferDrained(…)进行真正的硬件渲染。

这个流程就是图中右边的循环：

下面是他们三者之间的状态转换图：

此文结束。