Android的多媒体框架OpenCore(PacketVideo)介绍

最新推荐文章于 2024-04-19 15:54:57 发布

rjw9999

最新推荐文章于 2024-04-19 15:54:57 发布

阅读量349

点赞数

分类专栏： Java/Android 文章标签： android 框架 import library video 工具

Java/Android 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

转自：http://jl9045.blog.163.com/blog/static/21620672200991965359912

　　分为几个阶段：

　　1、整个Android的多媒体框架OpenCore

　　2、Player和Author的详细介绍

　　2、OpenCore和Android其他部分的集成

　　第一部分 OpenCore概述：

　　OpenCore的另外一个常用的称呼是PacketVideo，它是Android的多媒体核心。事实上，PacketVideo是一家公司的名称，而OpenCore是这套多媒体框架的软件层的名称。在Android的开发者中间，二者的含义基本相同。对比Android的其它程序库，OpenCore的代码非常庞大，它是一个基于C++的实现，定义了全功能的操作系统移植层，各种基本的功能均被封装成类的形式，各层次之间的接口多使用继承等方式。

　　OpenCore是一个多媒体的框架，从宏观上来看，它主要包含了两大方面的内容：

　　PVPlayer：提供媒体播放器的功能，完成各种音频(Audio)、视频(Video)流的回放(Playback)功能

　　PVAuthor：提供媒体流记录的功能，完成各种音频(Audio)、视频(Video)流的以及静态图像捕获功能

　　PVPlayer和PVAuthor以SDK的形式提供给开发者，可以在这个SDK之上构建多种应用程序和服务。在移动终端中常常使用的多媒体应用程序，例如媒体播放器、照相机、录像机、录音机等等。

　　为了更好的组织整体的架构，OpenCore在软件层次在宏观上分成几个层次：

　　 Android的多媒体框架OpenCore(PacketVideo)介绍

　　OSCL：Operating System Compatibility Library (操作系统兼容库)，包含了一些操作系统底层的操作，为了更好地在不同操作系统移植。包含了基本数据类型、配置、字符串工具、IO、错误处理、线程等内容，类似一个基础的C++库。

　　PVMF：PacketVideo Multimedia Framework(PV多媒体框架)，在框架内实现一个文件解析(parser)和组成(composer)、编解码的NODE，也可以继承其通用的接口，在用户层实现一些NODE。

　　PVPlayer Engine：PVPlayer引擎。

　　PVAuthor Engine：PVAuthor引擎。

　　事实上，OpenCore中包含的内容非常多：从播放的角度，PVPlayer的输入的(Source)是文件或者网络媒体流，输出(Sink)是音频视频的输出设备，其基本功能包含了媒体流控制、文件解析、音频视频流的解码(Decode)等方面的内容。除了从文件中播放媒体文件之外，还包含了与网络相关的RTSP流(Real Time Stream Protocol,实时流协议)。在媒体流记录的方面，PVAuthor的输入的(Source)是照相机、麦克风等设备，输出(Sink)是各种文件，包含了流的同步、音频视频流的编码(Encode)以及文件的写入等功能。

　　在使用OpenCore的SDK的时候，有可能需要在应用程序层实现一个适配器(Adaptor)，然后在适配器之上实现具体的功能，对于PVMF的NODE也可以基于通用的接口，在上层实现，以插件的形式使用。

第二部分 OpenCore的代码结构2.1 代码结构

　　以开源Android的代码为例，OpenCore的代码在以下目录中：external/opencore/。这个目录是OpenCore的根目录，其中包含的子目录如下所示：

　　android：这里面是一个上层的库，它基于PVPlayer和PVAuthor的SDK实现了一个为Android使用的Player和Author。

　　baselibs：包含数据结构和线程安全等内容的底层库

　　codecs_v2：这是一个内容较多的库，主要包含编解码的实现，以及一个OpenMAX的实现

　　engines：包含PVPlayer和PVAuthor引擎的实现

　　extern_libs_v2：包含了khronos的OpenMAX的头文件

　　fileformats：文件格式的解析(parser)工具

　　nodes：提供一些PVMF的NODE，主要是编解码和文件解析方面的。

　　oscl：操作系统兼容库

　　pvmi：输入输出控制的抽象接口

　　protocols：主要是与网络相关的RTSP、RTP、HTTP等协议的相关内容

　　pvcommon：pvcommon库文件的Android.mk文件，没有源文件。

　　pvplayer：pvplayer库文件的Android.mk文件，没有源文件。

　　pvauthor：pvauthor库文件的Android.mk文件，没有源文件。

　　tools_v2：编译工具以及一些可注册的模块。

　　在external/opencore/目录中还有2个文件，如下所示：

　　Android.mk：全局的编译文件

　　pvplayer.conf：配置文件

　　在external/opencore/的各个子文件夹中包含了众多的Android.mk文件，它们之间还存在着“递归”的关系。例如根目录下的Android.mk，就包含了如下的内容片断：

　　include $(PV_TOP)/pvcommon/Android.mk

　　include $(PV_TOP)/pvplayer/Android.mk

　　include $(PV_TOP)/pvauthor/Android.mk

　　这表示了要引用pvcommon，pvplayer和pvauthor等文件夹下面的Android.mk文件。

　　external/opencore/的各个Android.mk文件可以按照排列组合进行使用，将几个Android.mk内容合并在一个库当中。

　　2.2 编译结构

　　1.库的层次关系：在Android的开源版本中编译出来的内容，OpenCore编译出来的各个库如下所示：

　　libopencoreauthor.so：OpenCore的Author库

　　libopencorecommon.so：OpenCore底层的公共库

　　libopencoredownloadreg.so ：下载注册库

　　libopencoredownload.so：下载功能实现库

　　libopencoremp4reg.so：MP4注册库

　　libopencoremp4.so：MP4功能实现库

　　libopencorenet_support.so：网络支持库

　　libopencoreplayer.so：OpenCore的Player库

　　libopencorertspreg.so：RTSP注册库

　　libopencorertsp.so：RTSP功能实现库

　　这些库的层次关系如下图所示：

　　 Android的多媒体框架OpenCore(PacketVideo)介绍

　　OpenCore的各个库之间具有如下的关系：

　　libopencorecommon.so是所有的库的依赖库，提供了公共的功能;

　　libopencoreplayer.so和libopencoreauthor.so是两个并立的库，分别用于回放和记录，而且这两个库是OpenCore对外的接口库;

　　libopencorenet_support.so提供网络支持的功能;

　　一些功能以插件(Plug-In)的方式放入Player中使用，每个功能使用两个库，一个实现具体功能，一个用于注册。

　　2.libopencorecommon.so库的结构

　　libopencorecommon.so是整个OpenCore的核心库，它的编译控制的文件的路径为pvcommon/Android.mk，这个文件使用递归的方式寻找子文件：
这些被包含的Android.mk文件真正指定需要编译的文件，这些文件在Android.mk的目录及其子目录中。事实上，在libopencorecommon.so库中包含了以下内容：

OSCL的所有内容

Pvmf框架部分的内容（pvmi/pvmf/Android.mk）

基础库中的一些内容（baselibs）

编解码的一些内容

文件输出的node（nodes/pvfileoutputnode/Android.mk）

从库的结构中可以看出，最终生成库的结构与OpenCore的层次关系并非完全重合。libopencorecommon.so库中就包含了底层的OSCL的内容、PVMF的框架以及Node和编解码的工具。

3．libopencoreplayer.so库的结构

libopencoreplayer.so是用于播放的功能库，它的编译控制的文件的路径为pvplayer/Android.mk
libopencoreplayer.so中包含了以下内容：

一些解码工具

文件的解析器（mp4）

解码工具对应的Node

player的引擎部分（engines/player/Android.mk）

为Android的player适配器（android/Android.mk）

识别工具（pvmi/recognizer）

编解码工具中的OpenMax部分(codecs_v2/omx)

对应几个插件Node的注册

libopencoreplayer.so中的内容较多，其中主要为各个文件解析器和解码器，PVPlayer的核心功能在engines/player/Android.mk当中，而android/Android.mk的内容比较特殊，它是在PVPlayer之上构建的一个为Android使用的播放器。

4．libopencoreauthor.so库的结构
libopencoreauthor.so是用于媒体流记录的功能库，它的编译控制的文件的路径为pvauthor/Android.mk

libopencoreauthor.so中包含了以下内容：

一些编码工具（视频流H263、H264，音频流Amr）

文件的组成器（mp4）

编码工具对应的Node

表示媒体输入的Node（nodes/pvmediainputnode/Android.m）

author的引擎部分（engines/author/Android.mk）

为Android的author适配器（android/author/Android.mk）

libopencoreauthor.so中主要为各个文件编码器和文件组成器，PVAuthor的核心功能在engines/author/Android.mk当中，而android/author/Android.mk是在PVAuthor之上构建的一个为Android使用的媒体记录器。

5．其他库
另外的几个库的Android.mk文件的路径如下所示：
网络支持库libopencorenet_support.so：
tools_v2/build/modules/linux_net_support/core/Android.mk

MP4功能实现库libopencoremp4.so和注册库libopencoremp4reg.so：
tools_v2/build/modules/linux_mp4/core/Android.mk
tools_v2/build/modules/linux_mp4/node_registry/Android.mk

RTSP功能实现库libopencorertsp.so和注册库libopencorertspreg.so：
tools_v2/build/modules/linux_rtsp/core/Android.mk
tools_v2/build/modules/linux_rtsp/node_registry/Android.mk

下载功能实现库libopencoredownload.so和注册库libopencoredownloadreg.so：
tools_v2/build/modules/linux_download/core/Android.mk
tools_v2/build/modules/linux_download/node_registry/Android.mk

第三部分 OpenCore OSCL简介

    OSCL，全称为Operating System Compatibility Library (操作系统兼容库)，它包含了一些在不同操作系统中移植层的功能，其代码结构如下所示：
oscl/oscl
|-- config             ：配置的宏
|-- makefile
|-- makefile.pv
|-- osclbase         ：包含基本类型、宏以及一些STL容器类似的功能
|-- osclerror        ：错误处理的功能
|-- osclio             ：文件IO和Socket等功能
|-- oscllib            ：动态库接口等功能
|-- osclmemory ：内存管理、自动指针等功能
|-- osclproc         ：线程、多任务通讯等功能
|-- osclregcli        ：注册客户端的功能
|-- osclregserv     ：注册服务器的功能
`-- osclutil           ：字符串等基本功能
         在oscl的目录中，一般每一个目录表示一个模块。OSCL对应的功能是非常细致的，几乎对C语言中每一个细节的功能都进行封装，并使用了C++的接口提供给上层使用。事实上，OperCore中的PVMF、Engine部分都在使用OSCL，而整个OperCore的调用者也需要使用OSCL。
在OSCL的实现中，很多典型的C语言函数被进行了简单的封装，例如：osclutil中与数学相关的功能在oscl_math.inl中被定义成为了内嵌（inline）的函数：
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_log(double value)
{
         return (double) log(value);
}
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_log10(double value)
{
         return (double) log10(value);
}
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_sqrt(double value)
{
         return (double) sqrt(value);
}
         oscl_math.inl文件又被oscl_math.h所包含，因此其结果是oscl_log()等功能的使用等价于原始的log()等函数。

     很多C语言标准库的句柄都被定义成为了C++类的形式，实现由一些繁琐，但是复杂性都不是很高。以oscllib为例，其代码结构如下所示：
oscl/oscl/oscllib/
|-- Android.mk
|-- build
|   `-- make
|       `-- makefile
`-- src
    |-- oscl_library_common.h
    |-- oscl_library_list.cpp
    |-- oscl_library_list.h
    |-- oscl_shared_lib_interface.h
    |-- oscl_shared_library.cpp
    `-- oscl_shared_library.h
        oscl_shared_library.h是提供给上层使用的动态库的接口功能，它定义的接口如下所示：
class OsclSharedLibrary
{
public:
        OSCL_IMPORT_REF OsclSharedLibrary();
        OSCL_IMPORT_REF OsclSharedLibrary(const OSCL_String& aPath);
        OSCL_IMPORT_REF ~OsclSharedLibrary();
        OSCL_IMPORT_REF OsclLibStatus LoadLib(const OSCL_String& aPath);
        OSCL_IMPORT_REF OsclLibStatus LoadLib();
        OSCL_IMPORT_REF void SetLibPath(const OSCL_String& aPath);
        OSCL_IMPORT_REF OsclLibStatus QueryInterface(const OsclUuid& aInterfaceId, OsclAny*& aInterfacePtr);
        OSCL_IMPORT_REF OsclLibStatus Close();
        OSCL_IMPORT_REF void AddRef();
        OSCL_IMPORT_REF void RemoveRef();
}
        这些接口显然都是与库的加载有关系的，而在oscl_shared_library.cpp中其具体的功能是使用dlopen()等函数来实现的。

第四部分文件格式处理和编解码部分简介

　　在多媒体方面，文件格式的处理和编解码(Codec)是很基础的两个方面的内容。多媒体应用的两个方面是媒体的播放(PlayBack)和媒体的记录(Recording)。

　　在媒体的播放过程中，通常情况是从对媒体文件的播放，必要的两个步骤为文件的解析和媒体流的解码。例如对于一个mp4的文件，其中可能包括AMR和AAC的音频流，H263、MPEG4以及AVC(H264)的视频流，这些流被封装在3GP的包当中，媒体播放器要做的就是从文件中将这些流解析出来，然后对媒体流进行解码，解码后的数据才可以播放。

　　在媒体的记录过程中，通过涉及到视频、音频、图像的捕获功能。对于将视频加音频录制成文件功能，其过程与播放刚好相反，首先从硬件设备得到视频和音频的媒体流，然后对其进行编码，编码号的流还需要被分层次写入到文件之中，最终得到组成好的文件。

　　OpenCore有关文件格式处理和编解码部分两部分的内容，分别在目录fileformats和codecs_v2当中。这两部分都属于基础性的功能，不涉及具体的逻辑，因此它们被别的模块调用来使用，例如：构建各种Node。

　　4.1 文件格式的处理

　　由于同时涉及播放文件和记录文件两种功能，因此OpenCore中的文件格式处理有两种类型，一种是parser(解析器)，另一种是composer(组成器)。

rjw9999

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Android的多媒体框架OpenCore(PacketVideo)介绍

 转自：http://jl9045.blog.163.com/blog/static/21620672200991965359912 　　分为几个阶段： 　　1、整个Android的多媒体框架OpenCore 　　2、Player和Author的详细介绍 　　2、OpenCore和Android其他部分的集成 第一部分 OpenCore概述： 　　OpenCore的另外一个常用的称呼是PacketVideo，它是Android
复制链接

扫一扫