Android多媒体框架初步分析[转]

Android  系统整体架构：

我们先看一下多媒体框架在整个   Android   系统所处的位置

从框架图可以看出   Media Framework   处于   Libraries   这一层，这层的   Library   不是用   Java   实现，一般是   C/C++   实现，它们通过   Java   的   JNI   方式调用。

多媒体架构：

基于第三方   PacketVideo  公司的   OpenCORE platform   来实现

支持所有通用的音频，视频，静态图像格式

CODEC(   编解码器   )   使用   OpenMAX 1L interface  接口进行扩展，可以方便得支持   hardware / software codec plug-ins

支持的格式包括：   MPEG4   、   H.264   、   MP3   、   AAC   、   AMR   、   JPG   、   PNG   、   GIF   等。

l       Open Core   多媒体框架有一套通用可扩展的接口针对第三方的多媒体遍解码器，输入，输出设备等等   。

l       多媒体文件的播放，下载，包括   3GPP, MPEG-4,AAC and MP3 containers

l       流媒体文件的下载，实时播放，包括：   3GPP, HTTP and RTSP/RTP

l       动态视频和静态图像的编码，解码，例如：   MPEG-4, H.263 and AVC (H.264), JPEG

l       语音编码格式：   AMR-NB and AMR-WB

l       音乐编码格式：   MP3, AAC, AAC+

l       视频和图像格式：   3GPP, MPEG-4 and JPEG

l       视频会议：基于   H324-M standard

 

 

图中用黄线圈出的是   Media Framework

 

Open Core   介绍：

        Open Core   是   Android  多媒体框架的核心，所有   Android   平台的音视频采集，播放的操作都是通过它来实现。它也被称为   PV(Packet Video), Packet Video   是一家专门提供多媒体解决方案的公司。

通过   Open Core   程序员可以方便快速的开发出想要的多媒体应用程序，例如：音视频的采集，回放，视频会议，实时的流媒体播放等等应用。  

 

Open Core  框架

代码结构：

Open Core   的代码在Android   代码的   External/Opencore   目录中   。这个目录是OpenCore   的根目录，其中包含的子目录如下所示   ：

• android   ：这里面是一个上层的库，它实现了一个为Android   使用的音视频采集，播放的接口，和DRM   数字版权管理的接口实现。
• baselibs   ：包含数据结构和线程安全等内容的底层库
• codecs_v2   ：音视频的编解码器，基于   OpenMAX   实现
• engines   ：核心部分   ，多媒体   引擎的实现
• extern_libs_v2   ：包含了   khronos   的   OpenMAX   的头文件
• fileformats   ：文件格式的解析（   parser   ）工具
• nodes   ：提供一些PVMF   的NODE   ，主要是编解码和文件解析方面的。
• oscl   ：操作系统兼容库
• pvmi   ：   输入输出控制的抽象接口
• protocols   ：主要是与网络相关的   RTSP   、   RTP   、   HTTP   等协议   的相关内容
• pvcommon   ：   pvcommon   库文件的   Android.mk   文件，没有源文件。
• pvplayer   ：   pvplayer   库文件的   Android.mk   文件，没有源文件。
• pvauthor   ：   pvauthor   库文件的   Android.mk   文件，没有源文件。
• tools_v2   ：编译工具以及一些可注册的模块。

Open Core  上层代码结构

在实际开发中我们并不会过多的研究Open Core   的实现，Android   提供了上层的Media API   给开发人员使用，MediaPlayer   和MediaRecorder

Android Media APIs

l       The Android platform is capable of playing both audio and video media. It is also capable of playing media contained in the resources for an application, or a standalone file in the filesystem, or even streaming media over a data connection. Playback is achieved through the  android.media.MediaPlayer   class.

l       The Android platform can also record audio. Video recording capabilities are coming in the future. This is achieved through the  android.media.MediaRecorder   class.

 

Media Player

提供的基本接口如下：

Public Methods

static  MediaPlayer   create   (Context   context,  Uri   uri)

Convenience method to create a MediaPlayer for a given Uri.   

int  getCurrentPosition   ()

Gets the current playback position.     

int  getDuration   ()

Gets the duration of the file.     

int  getVideoHeight   ()

Returns the height of the video.    

int  getVideoWidth   ()

Returns the width of the video.    

boolean  isPlaying   ()

Checks whether the MediaPlayer is playing.     

void  pause   ()

Pauses playback.     

void  prepare   ()

Prepares the player for playback, synchronously.     

void  prepareAsync   ()

Prepares the player for playback, asynchronously.     

void  release   ()

Releases resources associated with this MediaPlayer object.    

void  reset   ()

Resets the MediaPlayer to its uninitialized state.     

void  seekTo   (int msec)

Seeks to specified time position.    

void  setAudioStreamType   (int streamtype)

Sets the audio stream type for this MediaPlayer.    

void  setDataSource   (String   path)

Sets the data source (file-path or http/rtsp URL) to use.         

void  setDisplay   (SurfaceHolder   sh)

Sets the SurfaceHolder to use for displaying the video portion of the media.     

void  setVolume   (float leftVolume, float rightVolume)

Sets the volume on this player.

void  start   ()

Starts or resumes playback.     

void  stop   ()

Stops playback after playback has been stopped or paused.

 

我们可以看出   MediaPlayer   类提供了一个多媒体播放器的基本操作，播放，暂停，停止，设置音量等等。

 

简单的例子：

Playing a File

MediaPlayer mp = new MediaPlayer();

mp.setDataSource(PATH_TO_FILE);

    mp.prepare();

    mp.start();

Playing a Raw Resource

MediaPlayer mp = MediaPlayer.create(context, R.raw.sound_file_1);

mp.start();

 

 

Media Recorder

提供的基本接口如下：

Public Method:

void  prepare   ()

Prepares the recorder to begin capturing and encoding data.     

void  release   ()

Releases resources associated with this MediaRecorder object.     

void  reset   ()

Restarts the MediaRecorder to its idle state.     

void  setAudioEncoder   (int audio_encoder)

Sets the audio encoder to be used for recording.     

void  setAudioSource   (int audio_source)

Sets the audio source to be used for recording.     

void  setOutputFile   (String   path)

Sets the path of the output file to be produced.     

void  setOutputFormat   (int output_format)

Sets the format of the output file produced during recording.     

void  setPreviewDisplay   (Surface   sv)

Sets a Surface to show a preview of recorded media (video).    

void  start   ()

Begins capturing and encoding data to the file specified with setOutputFile().     

void  stop   ()

Stops recording.

 

简单的例子：

Example:

MediaRecorder recorder = new MediaRecorder();

recorder.setAudioSource(MediaRecorder.AudioSource.MIC);

recorder.setOutputFormat(MediaRecorder.OutputFormat.THREE_GPP);

recorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);

recorder.setOutputFile(PATH_NAME);

recorder.prepare();

recorder.start(); // Recording is now started ... recorder.stop();

recorder.reset(); // You can reuse the object by going back to

                               setAudioSource() step

recorder.release(); // Now the object cannot be reused

 

整体的结构如下图所示：

l       MediaPlayer JNI

代码位置   /frameworks/base/media/jni

l       MediaPlayer (Native)

代码位置   /frameworks/base/media/libmedia

l       MediaPlayerService (Server)

代码位置   /frameworks/base/media/libmediaplayerservice

l       MediaPlayerService Host Process

代码位置   /frameworks/base/media/mediaserver/main_mediaserver.cpp

l       PVPlayer

代码位置   /external/opencore/android/

实际调用过程如下图所示：