OpenCores框架

最新推荐文章于 2023-06-05 21:00:38 发布
最新推荐文章于 2023-06-05 21:00:38 发布
阅读量2.3k 收藏 1
点赞数
分类专栏： Android 文章标签： 框架 引擎 android command protocols vector

媒体播放引擎

v      在 opencore 中由 PVPlayerEngine 负责媒体播放功能的实现；

v      在 PVPlayerEngine 中负责创建各个节点来完成媒体文件格式解析（ SourceNode ）、媒体数据编解码 (DecodeNode/EncNode) 以及媒体数据的输出 (MediaOutputNode) ；

v      由 PlayerDriver 负责 opencore 与 android 媒体框架的适配；

v      由 AndroidAudioOutput 负责音频数据输出到 android-audioflinger 服务输出，由 AndroidSurfaceOutput 来负责将视频数据输出到 android-surfaceflinger 服务输出；

 

媒体播放引擎 - 驱动层

v      驱动层包括： PVPlayer 和 PlayerDriver 组成；

v      PVPlayer 负责将上层应用的命令转换成 PlayerDriver 可以内部命令加入到其命令队列中，由 PlayerDriver 负责执行，并负责将命令执行的结果回送给上层媒体框架以及 JAVA 程序；

v      在 PlayerDriver 中有一个消息循环负责处理 PVPlayer 发送过来的命令，调用 PVPlayerEngine 相应的接口来完成媒体控制；

v      在创建 PlayerDriver 对象时会生成 opencore 主线程，并调用 OsclExecScheduler.StartScheduler 来开始 opencore 主线程循环；

v      源码文件：

v      android/playerdriver.cpp

v      android/playerdriver.h

媒体播放引擎 - 文件格式识别

v      在 opencore 中由 PVPlayerRecognizerRegistry 负责文件格式识别，并将结果返回给 PVPlayerEngine ；

v      PVPlayerEngine 根据类型来创建对应的文件解析节点 ParseNode ；

v      opencore 中对文件格式的识别时通过读取文件头的方式进行的，而不是根据文件扩展名；

v      opencore 中通过向系统中注册文件识别插件的方式来提供文件格式识别的功能，系统通过循环调用每个注册插件的 Recognize() 函数来进行格式识别；

v      在创建媒体播放引擎的时候会通过 PVPlayerRegistryPopulator::Populate() 函数来注册所有的文件识别插件到系统中

 

v      源码文件：

v      pvmi/recognizer/src/pvmf_recognizer_registry.cpp

v      pvmi/recognizer/src/pvmf_recognizer_registry_impl.cpp

v      pvmi/recognizer/plugins/ 目录下所有的子目录中存放着文件识别插件的代码；

媒体播放引擎 - 文件格式解析节点

v      在 opencore 中通过文件解析节点（ ParseNode ）来完成音视频文件格式的解析，并将文件中的音频、视频数据送到对应的解码节点进行解码；

v      PVPlayerEngine 通过 PVMFNodeInterface 接口来完成对 ParseNode 的操作； ParseNode 通过提供扩展接口来实现通用 Node 接口不能实现的功能；

v      常用的扩展接口如： PvmiCapabilityAndConfig ；

v      opencore 中通过注册的方式向系统中注册文件格式解析节点

 

媒体播放引擎 - 节点注册

v      1 、每个节点都有一个对应的 PVMFXXXXFactrory 来负责创建；

v      2 、系统中通过 PVPlayerRegistryPopulator. RegisterAllNodes() 来注册所有支持的节点；

v      3 、 opencore 首先调用 PVPlayerNodeRegistry-> QueryRegistry() 函数查询对于指定的输入 & 输出格式的 Node 的 UUID ，然后通过 PVPlayerNodeRegistry-> CreateNode () 创建指定的 Node 。

v      4 、 PVPlayerEngine 就是通过文件格式识别插件返回的媒体类型来创建对应的文件解析节点的

void PVMFMP4FFParserNode::Run()

{

    //Process commands.

    if (!iInputCommands.empty())

    {

        ProcessCommand();

    }

 

    while (!iPortActivityQueue.empty() && (iInterfaceState == EPVMFNodeStarted ||                            FlushPending()))

    {

        ProcessPortActivity();

    }

 

    if (iInterfaceState == EPVMFNodeStarted && !FlushPending())

    {

        HandleTrackState();

    }

 

    //Check for completion of a flush command...

    if (FlushPending() && iPortActivityQueue.empty())

    {

        //Flush is complete.

         CommandComplete(iCurrentCommand, iCurrentCommand.front(), PVMFSuccess);

    }

}

 void PVMFMP4FFParserNode::HandleTrackState()

{

    for (uint32 i = 0; i < iNodeTrackPortList.size(); ++i)

    {

        switch (iNodeTrackPortList[i].iState)

        {

             case PVMP4FFNodeTrackPortInfo::TRACKSTATE_UNINITIALIZED:

                ……

 

            case PVMP4FFNodeTrackPortInfo::TRACKSTATE_TRANSMITTING_GETDATA:

                ……

                if (!RetrieveTrackData(iNodeTrackPortList[i]))

                {

                    ……

                }

                ……

 

            case PVMP4FFNodeTrackPortInfo::TRACKSTATE_TRANSMITTING_SENDDATA:

                if (SendTrackData(iNodeTrackPortList[i]))

                {

                    ……

                 }

                break;

 

            ……

        }

    }

}

媒体播放引擎 - 解码节点

v      opencore 中由 DecNode 节点负责媒体数据的解码工作；

v      DecNode 通过调用底层的 opencoreMAX 通用接口实现媒体数据的解码；

v      对于一个普通的视频文件，存在 2 个解码节点：音频解码节点和视频解码节点；

 

 

bool PVMFOMXBaseDecNode::SendInputBufferToOMXComponent()

{

    ……

    OMX_EmptyThisBuffer(iOMXDecoder, input_buf->pBufHdr);

    ……

}

PVMFOMXBaseDecNode::SendOutputBufferToOMXComponent()

{

    ……

    OMX_FillThisBuffer(iOMXDecoder, output_buf->pBufHdr);

    ……

}

OMX_ERRORTYPE PVMFOMXBaseDecNode::EmptyBufferDoneProcessing(OMX_OUT OMX_HANDLETYPE aComponent,

        OMX_OUT OMX_PTR aAppData,

        OMX_OUT OMX_BUFFERHEADERTYPE* aBuffer)

{

    ……

}

OMX_ERRORTYPE PVMFOMXBaseDecNode::FillBufferDoneProcessing(OMX_OUT OMX_HANDLETYPE aComponent,

        OMX_OUT OMX_PTR aAppData,

        OMX_OUT OMX_BUFFERHEADERTYPE* aBuffer)

{

    ……

}

v      源码文件：

v      nodes/pvomxbasedecnode/

v      nodes/pvomxvideodecnode/

v      codecs_v2/omx/

媒体播放引擎 - 媒体输出节点

v      MediaOutputNode 负责接收 DecNode 的解码后数据，并将数据输出到 MIO ；同时在输出前作视频的同步；

v      MIO 负责将数据输出到 surfaceFlinger 和 AudioFlinger ；

v      视频数据在输出前需要做颜色空间的转换（ YUV->RGB ）和缩放，这部分的工作也在 MIO 中完成；

v      节点源码：

v      nodes/pvmediaoutputnode/

v      MIO 源码：

v      android/android_surface_output.cpp

v      android/android_audio_output.cpp

v      android/android_audio_mio.cpp

v      http://zhaixishan.cublog.cn

 

附录：

具体的代码阅读：


目录结构
OpenCore的代码在以下目录中：external/opencore/。这个目录是OpenCore的根目录，其中包含的子目录如下所示：

    * android：这里面是一个上层的库，它基于PVPlayer和PVAuthor的SDK实现了一个为Android使用的Player和Author。
    * baselibs：包含数据结构和线程安全等内容的底层库
    * codecs_v2：这是一个内容较多的库，主要包含编解码的实现，以及一个OpenMAX的实现
    * engines：包含PVPlayer和PVAuthor引擎的实现
    * extern_libs_v2：包含了khronos的OpenMAX的头文件
    * fileformats：文件格式的据具体解析（parser）类
    * nodes：编解码和文件解析的各个node类。
    * oscl：操作系统兼容库
    * pvmi： 输入输出控制的抽象接口
    * protocols：主要是与网络相关的RTSP、RTP、HTTP等协议的相关内容
    * pvcommon：pvcommon库文件的Android.mk文件，没有源文件。
    * pvplayer：pvplayer库文件的Android.mk文件，没有源文件。
    * pvauthor：pvauthor库文件的Android.mk文件，没有源文件。
    * tools_v2：编译工具以及一些可注册的模块。

Splitter的定义与初始化
以wav的splitter为例，在fileformats目录下有解析wav文件格式的pvwavfileparser.cpp文件，在nodes目录 下有pvmf_wavffparser_factory.cpp，pvmf_wavffparser_node.h， pvmf_wavffparser_port.h等文件。
我们由底往上看，vwavfileparser.cpp中的 PV_Wav_Parser 类有 InitWavParser () ， GetPCMData () ， RetrieveFileInfo () 等解析wav格式的成员函数，此类应该就是最终的解析类。我们搜索 PV_Wav_Parser 类被用到的地方可知，在 PVMFWAVFFParserNode 类中有 PV_Wav_Parser 的一个指针成员变量。再搜索可知， PVMFWAVFFParserNode 类是通过 PVMFWAVFFParserNodeFactory 的 CreatePVMFWAVFFParserNode() 成员函数生成的。而 CreatePVMFWAVFFParserNode() 函数是在 PVPlayerNodeRegistry::PVPlayerNodeRegistry() 类构造函数中通过 PVPlayerNodeInfo 类被注册到 Oscl_Vector<PVPlayerNodeInfo, OsclMemAllocator> 的vector中，在这个构造函数中，AMR，mp3等node也是同样被注册的。
由上可知，Opencore中对splitter的管理也是与ffmpeg等类似，都是在框架的初始化时注册的，只不过Opencore注册的是每个splitter的factory函数。
综述一下splitter的定义与初始化过程：
  • 每个splitter都在fileformats目录下有个对应的子目录，其下有各自的解析类。
  • 每个splitter都在nodes目录下有关对应的子目录，其下有各自的统一接口的node类和node factory类。
  • 播放引擎PVPlayerEngine 类中有PVPlayerNodeRegistry iPlayerNodeRegistry 成员变量。
  • 在PVPlayerNodeRegistry 的构造函数中，将 AMR, AAC, MP3等splitter的输入与输出类型标示和node factory类中的create node与release delete接口通过PVPlayerNodeInfo类 push到Oscl_Vector<PVPlayerNodeInfo, OsclMemAllocator> iType 成员变量中。

当前Splitter的匹配 过程
PVMFStatus PVPlayerNodeRegistry::QueryRegistry(PVMFFormatType& aInputType, PVMFFormatType& aOutputType, Oscl_Vector<PVUuid, OsclMemAllocator>& aUuids) 函数的功能是根据输入类型和输出类型，在已注册的node vector中寻找是否有匹配的node，有的话传回其唯一识别标识PVUuid。
从 QueryRegistry 这个函数至底向上搜索可得到，在 android 中splitter的匹配过程如下：
  • android_media_MediaPlayer.cpp 之中定义了一个 JNINativeMethod （ JAVA 本地调用方法）类型的数组 gMethods ，供java代码中调用 MultiPlayer类的 setDataSource成员函数时找到对应的c++函数  
    {"setDataSource",       "(Ljava/lang/String;)V",            (void *)android_media_MediaPlayer_setDataSource},
  • static void android_media_MediaPlayer_setDataSource(JNIEnv *env, jobject thiz, jstring path)

    此函数中先得到当前的MediaPlayer实例，然后调用其setDataSource函数，传入路径

  • status_t MediaPlayer::setDataSource(const char *url)

    此函数通过调getMediaPlayerService（）先得到当前的MediaPlayerService，  const sp<IMediaPlayerService>& service(getMediaPlayerService());
     然后新建一个IMediaPlayer变量，  sp<IMediaPlayer> player(service->create(getpid(), this, fd, offset, length));
     在sp<IMediaPlayer> MediaPlayerService::create(pid_t pid, const sp<IMediaPlayerClient>& client, const char* url) 中
     调status_t MediaPlayerService::Client::setDataSource(const char *url) 函数，Client 是MediaPlayerService 的一个内部类。
     在MediaPlayerService::Client::setDataSource中，调sp<MediaPlayerBase> MediaPlayerService::Client::createPlayer(player_type playerType)
     生成一个继承自MediaPlayerBase的PVPlayer实例，
    PVPlayer的继承关系如下:
    PVPlayer -->MediaPlayerInterface -->MediaPlayerBase
    最后调PVPlayer的setDataSource ()函数

  • status_t PVPlayer::setDataSource(const char *url)
  • status_t PVPlayer::prepare()

    此函数开头执行ret = mPlayerDriver->enqueueCommand(new PlayerSetDataSource(mDataSourcePath,0,0));
     将PlayerSetDataSource 的command类加入到PlayerDriver的command处理队列中，
     在void PlayerDriver::Run()函数中处理此command，调用下面的handleSetDataSource函数。

  • void PlayerDriver::handleSetDataSource(PlayerSetDataSource* ec)
  • PVCommandId PVPlayerEngine::AddDataSource(PVPlayerDataSource& aDataSource, const OsclAny* aContextData)

        This function allows a player data source to be specified for playback. This function must be called

  • PVMFStatus PVPlayerEngine::DoAddDataSource(PVPlayerEngineCommand& aCmd)
  • PVMFStatus PVPlayerEngine::DoSetupSourceNode(PVCommandId aCmdId, OsclAny* aCmdContext)

 

http://www.cublog.cn/u3/112227/showart_2494787.html

menuconfig
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux Kernel 之一 内核架构、源码文件、API/ABI 介绍、FHS
技术干货
12-07 3135
内核架构主要有 宏内核（Monolithic Kernel）、微内核（Micro kernel）和混合内核（Hybrid kernel） 三种。Linux 系统的 Kernel 属于宏内核，而 Windows 系统的内核 Windows NT 和 macOS 的内核 XNU 都属于混合内核。
OpenCores学习（0） --概述
dssxk的专栏
09-20 774
1、整个Android的多媒体框架OpenCore 　　2、Player和Author的详细介绍 　　2、 OpenCore和Android其他部分的集成 　　第一部分 OpenCore概述： 　　OpenCore 的另外一个常用的称呼是PacketVid
OpenCores 介绍
记录所学，分享知识，结识挚友
01-30 4271
简单介绍OpenCores，以及账号注册。
OpenCores学习——I2C_master(一)
weixin_43540428的博客
10-25 1383
OpenCores学习——I2C_master(一)
opencores 有用的core
heavywater的专栏
03-25 1496
radix 4 complex fft: Overviewhttp://www.opencores.org/?do=project&who=cfft CF FFThttp://www.opencores.org/?do=project&who=cf_fft Viterbi HDL Code Generatorhttp://www.opencores.org/?do=pr
opencores网站注册
gp18391818575的博客
02-01 2018
Submit灰的点不了，是因为验证图片显示不出来，这里用的是google的recaptcha人机验证，需要连接google recaptcha服务器，国内不能直接连接。不过google给国内开放的http://recaptcha.net可以正常连接，所以需要用firefox浏览器安装一个Goo Replacer插件来重定向到http://recaptcha.net就可以了。具体如下： 1.安装firefox(不推荐google chrome，因为chrome中Goo Replacer插件同样需要连接goo
OpenCores代码阅读-之文件识别插件注册流程
dssxk的专栏
09-20 1045
文件的种类繁多，文件的识别就会很麻烦，并且还要考虑到可扩展性，所以这个文件的识别是以插件的形式来存在的，这里我们简要的说一下，这个插件的框架。   由于文件的格式很多，而且标准也很多，很难肯定某一文件就是某种的格式，因而就引入一个确信度的概念。   typ
spi-oc-tiny.rar_V2
09-23
OpenCores是一个开源硬件设计社区，它提供了各种IP核和设计资源，其中 spi-oc-tiny 是一个针对Linux操作系统的轻量级SPI主控制器驱动程序。 在"spi-oc-tiny.rar_V2"这个压缩包中，我们主要关注的是"spi-oc-tiny.c...
如何实现2个主机+4个从机的ahb总线设计
05-12
您可以使用开源AHB控制器，例如Opencores AHB-Lite Master和Slave。 3. 接下来，您需要定义AHB总线的物理层接口标准，以确保所有主机和从机都实现了相同的接口标准。您可以选择标准的AHB接口或AMBA接口。 4. 然后...
OpenCores学习(1) --简介
dssxk的专栏
09-20 1055
[转] 本文档翻译自pvplayer_developers_guide.pdf，可以自己查阅。文档太多，  可以下载该文档： --简介" style="margin-top:0px; margin-right:0px; margin-bottom:0p
Zep——开源的X86架构的内核
05-11
Zep(open source project about X86)，在国外著名开源网站opencores上下载的，当时下载时挺麻烦，现在方便各位朋友下载。
opencores上的通用存储器verilog代码（带文档说明）
06-17
SRAM,SDRAM,FLASH通用的控制器模型，可配置使用哪个存储器。
Opencores上的I2C，基于VHDl
01-11
关于I2C的VHDL程序，已经实现过了，包括slave和master模式
Altera SPI总线开发资料
07-26
AD7705_AD7706与PIC16F73的接口配置.pdf AD7888与S3C2410的SPI接口及Linux下嵌入式驱动的实现.pdf adda_spi.rar SPI_Control.C spi串口rxdata中的数据.doc SPI串行总线接口及其实现.pdf SPI串行总线接口的Verilog实现.pdf spi协议verilog hdl程序包.rar SPI总线接口的FPGA设计与实现.pdf SPI技术在相控阵雷达波控监测系统中的应用.pdf SPI接口及其在数据交换中的应用.pdf SPI接口技术及应用.pdf TMS320VC5402 SPI DMA开发例程 .rar XAPP800：SPI Flash_Xilinx.CPLD源码参考设计.rar 串行AD与8255A接口的设计与实现.pdf 串行外围接口SPI的接口技术.pdf 在FPGA中实现SPI与总线接口转换.pdf 基于CPLD的SPI接口设计.pdf 基于FPGA的SPI接口AD转换器TLV2543的接口应用.pdf 基于SPI的DSP与MCU双向通信的设计与实现.pdf
Open Core Platform based on OpenRISC Processor and DE2-70 Board
04-26
xiang li的master thesis，里面包含利用现有的opencores的ip core组合搭建平台和软件开发，包含具体的操作步骤，rtl代码，软件（c,asm）源码。 是一个很具有参考价值的project的demo。
OpenCores学习(4）--接口与NODE
dssxk的专栏
09-20 659
第四章和第五章就是些介绍，只是把关键的语句翻译出来，见谅。 从第六章开始很关键，我也会尽量全部翻译过来。 4.接口 4.1默认接口       PVPlayer的接口是标准的OSCL-based 接口,引擎的API都是通过这些接口来调用相对应的操作,但是像
注册Opencores无法点击submit办法解决（终极办法，巨有用）
最新发布
weixin_41326030的博客
06-05 1548
无法注册opencores的解决办法
opencores注册问题
weixin_43274923的博客
12-19 5316
作者：li.wsh 链接：https://www.zhihu.com/question/319425592/answer/727400427 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Submit灰的点不了，是因为验证图片显示不出来，这里用的是google的recaptcha人机验证，需要连接google recaptcha服务器，国内不能直接连接。不...
OPENCORES上开源的ARM7兼容ARM处理器设计与应用指南
OPENCORES上的ARM7兼容的ARM实现项目，名为Amber，是由AmberOpenSourceProject维护的一个开源处理器系统。该项目的目标是在Xilinx Spartan-6 SP605 FPGA开发板上构建一个完整的硬件和软件开发环境，以支持ARM7指令集...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值