android url参数解封装,9. Android MultiMedia框架彻底解析 - MediaExtractor和MediaMuxer介绍...

Android中Native层抽象出来MediaMuxer类和MediaExtractor类，MediaMuxer类主要用于将音频和视频数据进行混合生成多媒体文件(如：mp4文件)，而MediaExtractor则恰好相反，主要用于多媒体文件的音视频数据的分离，即解封装。网络

而在文件播放中，首先须要作的就是解封装， 因此在播放过程当中，NuPlayer使用了这个MediaExtractor类，先来看看MediaExtractor在NuPlayer框架中所处的位置：

app

(一)下面给出一个Android App中使用MediaExtractor和MediaMuxer的例子，先来看看application中是如何使用这些接口的：框架

1.1 MediaExtractoride

该类主要用于音视频混合数据的分离，接口比较简单，首先要经过setDataSource(String path)函数设置数据源，数据源能够是本地文件地址，也能够使用HTTP协议的网络码流地址。函数

extractor = new MediaExtractor();

extractor.setDataSource("/sdcard/test.mp4");

dumpFormat(extractor);

private void dumpFormat(MediaExtractor extractor) {

int count = extractor.getTrackCount();

Log.i(TAG, "playVideo: track count: " + count);

for (int i = 0; i < count; i++) {

MediaFormat format = extractor.getTrackFormat(i);

Log.i(TAG, "playVideo: track " + i + ":" + getTrackInfo(format));

String mime = format.getString(MediaFormat.KEY_MIME);

if(mime.startsWith("Video/")){

videoTrackIndex = i;

}

else if(mime.startsWith("audio/")){

audioTrackIndex = 0;

}

}

}

这里咱们打开sdcard下的一个测试视频，而后打印其轨道信息，轨道信息的遍历能够经过MediaExtractor的 getTrackCount 和 getTrackFormat 配合完成，如：MimeType，分辨率、编码格式、码率、帧率等等。测试

获取到媒体文件的详细信息以后，就能够选择指定的通道，并分离和读取数据了：编码

mMediaExtractor.selectTrack(videoTrackIndex);

while(true) {

int sampleSize = mMediaExtractor.readSampleData(buffer, 0);

if(sampleSize < 0){

break;

}

mMediaExtractor.advance(); //移动到下一帧

}

mMediaExtractor.release(); //读取结束后，要记得释放资源

1.2 MediaMuxercode

该类主要用于将音频和视频进行混合生成多媒体文件，建立该类对象，须要传入输出的文件位置以及格式，构造函数以下：orm

public MediaMuxer(String path, int format);

建立对象以后，一个比较重要的操做就是addTrack()，添加数据通道，该函数须要传入MediaFormat对象，MediaFormat即媒体格式类，用于描述媒体的格式参数，如视频帧率、音频采样率等。

在本示例中，能够直接使用MediaExtractor.getTrackFormat()解析获得的MediaFormat对象，若是你但愿本身来建立这个MediaFormat对象的话，能够使用该类的以下静态方法建立：

MediaFormat format = MediaFormat.createVideoFormat("video/avc", 320, 240);

注意，若是手动建立MediaFormat对象的话，必定要记得设置"csd-0"和"csd-1"这两个参数：

byte[] csd0 = {x, x, x, x, x, ,x ...}

byte[] csd1 = {x, x, x, x, x, ,x ...}

format.setByteBuffer("csd-0", ByteBuffer.wrap(csd0));

format.setByteBuffer("csd-1", ByteBuffer.wrap(csd1));

至于"csd-0"和"csd-1"是什么，对于H264视频的话，它对应的是sps和pps，对于AAC音频的话，对应的是ADTS，作音视频开发的人应该都知道，它通常存在于编码器生成的IDR帧之中。

经过 addTrack() 添加了数据通道以后，记录下函数返回的 trackIndex，而后就能够调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。

这里须要注意的就是writeSampleData函数的最后一个参数是一个BufferInfo对象，你必须认真地填入“正确”的值：

BufferInfo info = new BufferInfo();

info.offset = 0;

info.size = sampleSize;

info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;

info.presentationTimeUs = timestamp;

其中，

info.size 必须填入数据的大小

info.flags 须要给出是否为同步帧/关键帧

info.presentationTimeUs 必须给出正确的时间戳，注意单位是 us，例如，对于帧率为 x f/s 的视频而言，时间戳的间隔就是 1000/x ms

跳过了这些坑，你就能够顺利地完成mp4文件的写入了，一样，完成后记得关闭以及释放资源：

mMediaMuxer.stop();

mMediaMuxer.releaser();

1.3 下面就来看代码：

protected boolean process() throws IOException {

mMediaExtractor = new MediaExtractor();

mMediaExtractor.setDataSource(SDCARD_PATH+"/input.mp4");

int mVideoTrackIndex = -1;

int framerate = 0;

for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) {

MediaFormat format = mMediaExtractor.getTrackFormat(i);

String mime = format.getString(MediaFormat.KEY_MIME);

if(!mime.startsWith("video/")) {

continue;

}

framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);

mMediaExtractor.selectTrack(i);

mMediaMuxer = new MediaMuxer(SDCARD_PATH+"/ouput.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4);

mVideoTrackIndex = mMediaMuxer.addTrack(format);

mMediaMuxer.start();

}

if(mMediaMuxer == null) {

return false;

}

BufferInfo info = new BufferInfo();

info.presentationTimeUs = 0;

ByteBuffer buffer = ByteBuffer.allocate(500*1024);

while(true) {

int sampleSize = mMediaExtractor.readSampleData(buffer, 0);

if(sampleSize < 0) {

break;

}

mMediaExtractor.advance();

info.offset = 0;

info.size = sampleSize;

info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;

info.presentationTimeUs += 1000*1000/framerate;

mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);

}

mMediaExtractor.release();

mMediaMuxer.stop();

mMediaMuxer.release();

return true;

}