MediaPlayer播放流程

MediaPlayer播放流程 
setDataSource流程 
应用通过setDataSource(FileDescriptor fd, long offset, long length)这个方法将音频资源设置下来，setDataSource 将path 变成文件 描述符fd，最后将fd通过native的_setDataSource设置到下面去 

 

Android_media_MediaPlayer.cpp

在JNI注册表中将_setDataSource方法映射成 android_media_MediaPlayer_setDataSourceFD方法

 

android_media_MediaPlayer_setDataSourceFD

1. 在android_media_MediaPlayer_setDataSourceFD中调用本地的setDataSource方法

2. process_media_player_call是检测调用的返回值的，如果返回值有一些其他的异常则抛出异常。

 

process_media_palyer_call

 

MediaPlayer.cpp

1. 获取MediaPlayerService
2. 调用MediaPlayerService的 setDataSource
3. attachNewPlayer保存变量

 

MediaPlayer::attachNewPlayer

1.将 MediaPlayer的当前状态保存在mCurrentState变量中

 

MediaPlayerService::Client::setDataSource

1. 通过MediaPlayerFactory::getPlayerType获取播放器类型
2. 调用setDataSource_pre创建播放器
3. 调用setDataSource_post通过创建的播放器设置setDataSource

 

MediaPlayerFactory::getPlayerType

1. 通过getPlayerType获取播放器类型

 

GET_PLAYER_TYPE_IMPL

1. 通过宏定义 GET_PLAYER_TYPE_IMPL获取播放器类型，sFactoryMap中的player类型通过一些比较算法取出来，我们使用getDefaultPlayerType 返回的类型进行分析。

 

getDefaultPlayerType

1. getDefaultPlayerType 返回NU_PLAYER播放器

MediaPlayerService::Client::setDataSource_pre

1. 通过createPlayer创建播放器
2. 创建音频输出

MediaPlayerService::AudioOutput::AudioOutput

MediaPlayerService::Client::createPlayer

1. 通过getPlayer获取播放器类型，获取到的播放器类型就是刚才创建的NU_PLAYER播放器
2. 通过MediaPlayerFactory::createPlayer创建类型为NU_PLAYER的播放器

MediaPlayerFactory::createPlayer

sp<MediaPlayerBase> createPlayer

1. 返回 NuPlayerDriver对象

 

NuPlayerDriver::setDataSource

NuPlayer::setDataSourceAsync

1. 创建GenericSource对象
2. 调用GenericSource对象的setDataSource

NuPlayer::GenericSource::GenericSource

NuPlayer::GenericSource::setDataSource

1. 重置数据
2. 将传下来的数据传给mDataSource

NuPlayer::GenericSource::resetDataSource

 

至此，setDataSource的流程就讲完了。

 

NuPlayer的流程

上一节讲了setDataSource方法，现在开始讲prepareAsync的流程

prepareAsync

prepareAsync在JNI中的映射为android_media_MediaPlayer_prepareAsync

android_media_MediaPlayer_prepareAsync

1. 获取native层的MediaPlayer对象
2. 在native对象初始化之前设置显示
3. 检测调用的返回值，如果返回值有一些其他的异常则抛出异常。
4. 调用native层的prepareAsync方法

MediaPlayer::prepareAsync

MediaPlayer::prepareAsync_l

1. 调用IMediaPlayer的setParameter方法，具体实现在MediaPlayerService中
2. 调用IMediaPlayer的setAudioStreamType方法，具体实现在MediaPlayerService中
3. 调用IMediaPlayer的prepareAsync方法，具体实现在MediaPlayerService中

MediaPlayerService::Client::setParameter

MediaPlayerService::Client::setAudioStreamType

MediaPlayerService::Client::prepareAsync

1. 获取播放器,setDataSource的时候我们选取的播放器为NuPlayer
2. 调用播放器的prepareAsync方法

NuPlayerDriver::prepareAsync

1. 调用NuPlayer的prepareAsync
2. 调用NuPlayer的seekToAsync

NuPlayer::prepareAsync

在onMessageReceived中接收到kWhatPrepare的消息后执行mSource->prepareAsync，之前获取到的Source为GenericSource。

NuPlayer::GenericSource::prepareAsync

NuPlayer::GenericSource::onMessageReceived

1. 这里又是通过发送消息的方式调用onPrepareAsync

NuPlayer::GenericSource::onPrepareAsync

1. 准备数据，并把数据传给mDataSource
2. 创建分离器MediaExtractor
3. 初始化数据

NuPlayer::GenericSource::initFromDataSource

这里出现了三大组件的另外一个MediaExtractor分离器。并且将数据分离开来了，将视频的数据分到mVideoTrack，把音频的分到mAudioTrack。所以上层调用prepare的时候耗时是消耗在这里。他需要分离出数据，解析一部分头信息，一些比较复杂的格式，需要较长的时间。

1. 将音频数据分离出来放入mAudioTrack中
2. 将视频数据分离出来放入mVideoTrack中

MediaPlayer.java

1. 调用startImpl
2. 在startImpl中调用_start方法
3. _start是一个native方法

Android_media_MediaPlayer.cpp

1. _start在JNI中注册为android_media_MediaPlayer_start

android_media_MediaPlayer_start

1. 获取native层的mediaplayer对象
2. 调用native层的start方法

MediaPlayer::start

1.调用播放器的start方法，前面我们获取到的播放器为NuPlayer，所以这里调用的是NuPlayer的start方法

NuPlayer::start

1. 通过发送消息的方法进行调用

 

NuPlayer::onStart

1. 创建Renderer组件，这个组件用于后期数据输出
2. 通过setRenderer将Renderer和解码器关联起来
3. 调用postScanSources发送消息

NuPlayer::postScanSources

1.发送kWhatScanSources消息

处理消息kWhatScanSources，根据情况初始化音频解码器和视频解码器(需要在audio解码器之前实例化video解码器，因为成功初始化视频解码器可能会改变音频解码器的深度缓冲模式)

NuPlayer::instantiateDecoder

1. 创建音频解码器
2. 创建视频解码器
3. 对解码器执行init操作，调用NuPlayer::DecoderBase::init为mDecoderLooper注册handler(init()和configure()都是NuPlayerDecoder继承自NuPlayer::DecoderBase的方法)
4. 对解码器执行config操作，调用NuPlayer::DecoderBase::configure

至此 Nuplayer里面的四大组件都准备好了。有GenericSource负责输入数据，MediaExtractor负责分离数据，MediaCodec负责解析数据，Renderer负责输出数据。

MediaCodec::init

1. 调用MediaCodecList::getInstance()来获取MediaCodecList实例
2. 调用类IMediaCodecList中的findCodecByName获取codec的索引，然后就能得到解码器支持的MIME格式以判断其是否为视频解码器
3. 调用MediaCodec::GetCodecBase
4. 若为video codec，则需要为其创建一个专门的ALooper，名为mCodecLooper；若为audio则与MediaCodec使用同一个ALooper，名为mLooper。
5. 创建kWhatInit消息，在其对应的消息处理中调用ACodec::initiateAllocateComponent

MediaCodec::GetCodecBase

1. 如果解码器名字以”c2.”开通则new CCodec
2. 如果解码器名字以”omx.”开通则new ACodec
3. 如果解码器名字以” android.filter.”开通则new MediaFilter

ACodec::ACodec

1.在ACodec的构造中将其状态转换为UninitializedState

MediaCodec::onMessageReceived

1. 收到kWhatInit消息后调用ACodec::initiateAllocateComponent

ACodec::initiateAllocateComponent

1. 在ACodec::initiateAllocateComponent中又通过发送消息kWhatAllocateComponent进行调用

ACodec::UninitializedState::onMessageReceived

1. 收到kWhatAllocateComponent消息后调用onAllocateComponent

ACodec::UninitializedState::onAllocateComponent

1.调用OMXClient::connect()，通过binder机制获得MediaPlayerService和MediaCodecService，然后通过MediaPlayerService和MediaCodecService来创建OMX的实例(这样OMXClient就获得了OMX的入口，就可以通过binder机制来获得OMX提供的服务，也就是说OMXClient是android中openmax的入口)

2. 调用OMX::allocateNode

3. 向MediaCodec发送kWhatComponentAllocated消息，在消息处理中将MediaCodec状态设为INITIALIZED

Omx::allocateNode

1. 创建OMXNodeInstance实例
2. 注册OMXNodeInstance::kCallbacks回调
3. 调用OMXMaster::makeComponentInstance(实际会调用到组件继承自OMXPluginBase的相关方法)来创建解码实体组件(生成OMX_COMPONENTTYPE对象)

OMXMaster::makeComponentInstance

SoftOMXPlugin::makeComponentInstance

1. 创建解码实体组件，生成OMX_COMPONENTTYPE对象

   

    

NuPlayer::DecoderBase::init

NuPlayer::DecoderBase::configure

NuPlayer::DecoderBase::onMessageReceived

NuPlayer::Decoder::onConfigure

1. 调用MediaCodec::CreateByType或者MediaCodec::CreateByComponentName
2. 接着调用MediaCodec::init，随后调用MediaCodec::configure对MediaCodec进行配置使其转入Configured状态，然后又调用MediaCodec::start使MediaCodec转入Executing状态。
3. 调用MediaCodec::configure
4. 调用MediaCodec::start

MediaCodec::configure

MediaCodec::onMessageReceived

ACodec::initiateConfigureComponent

ACodec::LoadedState::onMessageReceived

ACodec::LoadedState::onConfigureComponent

1. 调用ACodec的configureCodec
2. 调用MediaCodec的onComponentConfigured

ACodec::configureCodec

1. 对IOMX进行一系列的设置以及配置操作，通过Binder通信就对OMXNodeInstance进行相应的设置和配置操作，最终就对OMX组件进行了相应的设置和配置。然后向MediaCodec发送kWhatComponentConfigured消息，在消息处理中将MediaCodec状态设为CONFIGURED

CodecCallback::onComponentConfigured

MediaCodec::onMessageReceived

1. 消息处理中将MediaCodec状态设为CONFIGURED

MediaCodec::start

MediaCodec::onMessageReceived

ACodec::initiateStart

ACodec::LoadedState::onMessageReceived

ACodec::LoadedState::onStart

1. 将ACodec设为LoadedToIdleState状态

ACodec::IdleToExecutingState::onOMXEvent

1. 接收到组件转换至Idle状态后的OMX_EventCmdComplete事件，会向IOMX发送状态转换命令，经过OMXNodeInstance最终对将OMX组件状态转换成Executing状态(这里OMX会发送OMX_EventCmdComplete事件)，然后调用ACodec::ExecutingState::resume
2. 对ACodec进行changeState至IdleToExecutingState

ACodec::ExecutingState::resume

ACodec::BaseState::postFillThisBuffer

ACodecBufferChannel::fillThisBuffer

BufferCallback::onInputBufferAvailable

NuPlayer::Decoder::onMessageReceived

NuPlayer::Decoder::handleAnInputBuffer

1. 先通过MediaCodec::getInputBuffer -> MediaCodec::getBufferAndFormat获取该buffer
2. 调用NuPlayer::Decoder::onInputBufferFetched执行内存拷贝将buffer拷贝到编解码器，然后又调用了MediaCodec::queueInputBuffer将buffer提交给解码器，其会产生消息kWhatQueueInputBuffer，消息处理中调用MediaCodec::onQueueInputBuffer

3.调用函数NuPlayer::DecoderBase::onRequestInputBuffers，处理是否需要更多的数据。其中会调用NuPlayer::Decoder::doRequestBuffers，若返回true则需要更多的数据，则会产生新消息kWhatRequestInputBuffers，消息处理中又将调用onRequestInputBuffers。（实际获取更多缓冲的操作在下面ACodec部分完成）

MediaCodec::getInputBuffer

1. 通过MediaCodec::getBufferAndFormat获取该buffer

2.1 NuPlayer::Decoder::onInputBufferFetched

2.2 MediaCodec::queueInputBuffer

2.3 MediaCodec::onMessageReceived

1. 调用onQueueInputBuffer

NuPlayer::DecoderBase::onRequestInputBuffers

1. 调用NuPlayer::Decoder::doRequestBuffers
2. 若返回true则需要更多的数据，则会产生新消息kWhatRequestInputBuffers

NuPlayer::DecoderBase::onMessageReceived

1. 调用onRequestInputBuffers

 

 

 

 

1.在OMX发送OMX_EventCmdComplete事件后会调用到ACodec::ExecutingState::resume函数，在resume中调用ACodec::BaseState::postFillThisBuffer前会先调用函数ACodec::ExecutingState::submitOutputBuffers，即在获取输入数据前会先把输出端的数据提交出去。

1. 在submitOutputBuffers中调用ACodec::ExecutingState::submitRegularOutputBuffers，其中又会调用到IOMX的fillBuffer 方法，经过进程间通信调用到OMX:: fillBuffer ，并最终调用OMXNodeInstance:: fillBuffer ，其中又会调用到OMX_FillThisBuffer宏对OMX组件进行相关的操作(同样根据需要选择相应的软解组件或者硬解组)。对于软解组件SoftOMXComponent：(下面的操作与emptyBuffer时类似)
2. . 在其构造函数的初始化列表中有mComponent->FillThisBuffer = FillThisBufferWrapper;所以实际会调用到其FillThisBufferWrapper 函数。

 

(2).然后调用SimpleSoftOMXComponent::fillThisBuffer产生kWhatFillThisBuffer消息，消息处理中实际的组件就要调用onQueueFilled函数(实际组件继承自SimpleSoftOMXComponent)。

(3). 接着会调用SoftOMXComponent::notifyFillBufferDone使用OMX的回调机制，闭环发送消息到OMX客户端ACodec。

(4). 之后调用到OMXNodeInstance:: OnFillBufferDone 函数，其又会调用OMX:: OnFillBufferDone ，然后在其中会发送omx_message:: FILL_BUFFER_DONE消息，ACodec中收到该消息(CodecObserver中先收到，但只设置消息)调用ACodec::BaseState:: onOMXFillBufferDone 。

(5).在onOMXFillBufferDone中获取PortMode，为RESUBMIT_BUFFERS则首先如果需要继续调用到IOMX的fillBuffer 填充输出缓冲重复做相关操作，接着ACodec又会生成一个kWhatOutputBufferDrained消息存在reply中，作为kWhatDrainThisBuffer消息的返回消息(notify->setMessage(“reply”, reply);)，然后向MediaCodec发送消息kWhatDrainThisBuffer，消息处理中调用函数MediaCodec::onOutputBufferAvailable()通知NuPlayer::Decoder有可用的output buffer，其中会设置消息的callbackID为CB_OUTPUT_AVAILABLE，同时设置index，接着NuPlayer::Decoder接收到该CB_OUTPUT_AVAILABLE消息，在消息处理中调用NuPlayer::Decoder::handleAnOutputBuffer，在其中会进行如下处理：

1. 先通过MediaCodec:: getOutputBuffer  -> MediaCodec::getBufferAndFormat获取该buffer的信息。
2. 若Renderer非空则会调用NuPlayer::Renderer::queueBuffer进行Renderer的相关处理同时消耗产生的kWhatRenderBuffer消息。queueBuffer会产生kWhatQueueBuffer消息，消息处理中会调用NuPlayer::Renderer::onQueueBuffer–> NuPlayer::Renderer::postDrainVideoQueue，产生kWhatDrainVideoQueue消息，消息处理中调用先NuPlayer::Renderer::onDrainVideoQueue在VideoQueue中取相关数据，再调用NuPlayer::Renderer::postDrainVideoQueue循环取video数据，接着还会发送kWhatRenderBuffer消息。

c. 在kWhatRenderBuffer消息处理中会调用NuPlayer::Decoder::onRenderBuffer，在其中根据情况调用函数MediaCodec::renderOutputBufferAndRelease渲染并释放，或者调用MediaCodec::releaseOutputBuffer不渲染直接释放，两中情况都会产生kWhatReleaseOutputBuffer消息，该消息处理中调用函数MediaCodec::onReleaseOutputBuffer，其中判断若SoftRenderer非空则进行软件渲染，不然就会通过上面的reply让ACodec去硬件渲染，在kWhatOutputBufferDrained消息处理就会中调用到函数ACodec::BaseState::onOutputBufferDrained进行真正的硬件渲染。

前面忘了写AudioTrack创建的过程，这里补充一下

 

 

 

AudioTrack创建的过程

1. 首先在每次MediaPlayer调用create创建的时候，会调用一次prepare，这个时候会走入NuPlayerDriver::prepareAsync中的STATE_UNPREPARED，之后会先调用stop一下，从而将NuPlayer播放器的状态切换为STATE_STOPPED态，之后再次调用prepare进入NuPlayerDriver::prepareAsync的STATE_STOPPED流程

第二次在prepareAsync调用中

2. 这里会将播放器的seek调整到0，同时播放器的状态切换为STATE_STOPPED_AND_PREPARING

3. 消息发往NuPlayerDriver在构造的时候开启的线程"NuPlayerDriver Looper"

4. 消息继续发往子线程处理

 

如上会完成两件重要的事情，一个是调用determineAudioModeChange完成AudioTrack的创建，另外就是创建音频的decoder，我们当前只关注AudioTrack的创建

 

frameworks\av\media\libmediaplayerservice\nuplayer\NuPlayerRenderer.cpp

如上消息发往Renderer的子线程NuPlayerRenderer处理，之后调用onOpenAudioSink

frameworks\av\media\libmediaplayerservice\MediaPlayerService.cpp

如上完成了AudioTrack的创建