Android中Native层抽象出来MediaMuxer类和MediaExtractor类,MediaMuxer类主要用于将音频和视频数据进行混合生成多媒体文件(如:mp4文件),而MediaExtractor则刚好相反,主要用于多媒体文件的音视频数据的分离,即解封装(又叫解复用)。
而在文件播放中,首先需要做的就是解封装, 所以在播放过程中,NuPlayer使用了这个MediaExtractor类,先来看看MediaExtractor在NuPlayer框架中所处的位置:
1. 使用
下面给出一个Android App中使用MediaExtractor和MediaMuxer的例子,先来看看application中是如何使用这些接口的:
1.1 MediaExtractor
该类主要用于音视频混合数据的分离,接口比较简单,首先要通过setDataSource(String path)函数设置数据源,数据源可以是本地文件地址,也可以使用HTTP协议的网络码流地址。
extractor = new MediaExtractor();
extractor.setDataSource("/sdcard/test.mp4");
dumpFormat(extractor);
private void dumpFormat(MediaExtractor extractor) {
int count = extractor.getTrackCount();
Log.i(TAG, "playVideo: track count: " + count);
for (int i = 0; i < count; i++) {
MediaFormat format = extractor.getTrackFormat(i);
Log.i(TAG, "playVideo: track " + i + ":" + getTrackInfo(format));
String mime = format.getString(MediaFormat.KEY_MIME);
if(mime.startsWith("Video/")){
videoTrackIndex = i;
}
else if(mime.startsWith("audio/")){
audioTrackIndex = 0;
}
}
}
这里我们打开sdcard下的一个测试视频,然后打印其轨道信息,轨道信息的遍历可以通过MediaExtractor的 getTrackCount 和 getTrackFormat 配合完成,如:MimeType,分辨率、编码格式、码率、帧率等等。
获取到媒体文件的详细信息之后,就可以选择指定的通道,并分离和读取数据了:
mMediaExtractor.selectTrack(videoTrackIndex);
while(true) {
int sampleSize = mMediaExtractor.readSampleData(buffer, 0);
if(sampleSize < 0){
break;
}
mMediaExtractor.advance(); //移动到下一帧
}
mMediaExtractor.release(); //读取结束后,要记得释放资源
1.2 MediaMuxer
该类主要用于将音频和视频进行混合生成多媒体文件,创建该类对象,需要传入输出的文件位置以及格式,构造函数如下:
public MediaMuxer(String path, int format);
创建对象之后,一个比较重要的操作就是addTrack(),添加数据通道,该函数需要传入MediaFormat对象,MediaFormat即媒体格式类,用于描述媒体的格式参数,如视频帧率、音频采样率等。
在本示例中,可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象,如果你希望自己来创建这个MediaFormat对象的话,可以使用该类的如下静态方法创建:
MediaFormat format = MediaFormat.createVideoFormat("video/avc", 320, 240);
注意,如果手动创建MediaFormat对象的话,一定要记得设置"csd-0"和"csd-1"这两个参数:
byte[] csd0 = {x, x, x, x, x, ,x ...}
byte[] csd1 = {x, x, x, x, x, ,x ...}
format.setByteBuffer("csd-0", ByteBuffer.wrap(csd0));
format.setByteBuffer("csd-1", ByteBuffer.wrap(csd1));
至于"csd-0"和"csd-1"是什么,对于H264视频的话,它对应的是sps和pps,对于AAC音频的话,对应的是ADTS,做音视频开发的人应该都知道,它一般存在于编码器生成的IDR帧之中。
通过 addTrack() 添加了数据通道之后,记录下函数返回的 trackIndex,然后就可以调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。
这里需要注意的就是writeSampleData函数的最后一个参数是一个BufferInfo对象,你必须认真地填入“正确”的值:
BufferInfo info = new BufferInfo();
info.offset = 0;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs = timestamp;
其中,
- info.size 必须填入数据的大小
- info.flags 需要给出是否为同步帧/关键帧
- info.presentationTimeUs 必须给出正确的时间戳,注意单位是 us,例如,对于帧率为 x f/s 的视频而言,时间戳的间隔就是 1000/x ms
跳过了这些坑,你就可以顺利地完成mp4文件的写入了,同样,完成后记得关闭以及释放资源:
mMediaMuxer.stop();
mMediaMuxer.releaser();
1.3 完整代码
protected boolean process() throws IOException {
mMediaExtractor = new MediaExtractor();
mMediaExtractor.setDataSource(SDCARD_PATH+"/input.mp4");
int mVideoTrackIndex = -1;
int framerate = 0;
for(int i = 0; i < mMediaExtractor.getTrackCount(); i++) {
MediaFormat format = mMediaExtractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if(!mime.startsWith("video/")) {
continue;
}
framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);
mMediaExtractor.selectTrack(i);
mMediaMuxer = new MediaMuxer(SDCARD_PATH+"/ouput.mp4", OutputFormat.MUXER_OUTPUT_MPEG_4);
mVideoTrackIndex = mMediaMuxer.addTrack(format);
mMediaMuxer.start();
}
if(mMediaMuxer == null) {
return false;
}
BufferInfo info = new BufferInfo();
info.presentationTimeUs = 0;
ByteBuffer buffer = ByteBuffer.allocate(500*1024);
while(true) {
int sampleSize = mMediaExtractor.readSampleData(buffer, 0);
if(sampleSize < 0) {
break;
}
mMediaExtractor.advance();
info.offset = 0;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs += 1000*1000/framerate;
mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);
}
mMediaExtractor.release();
mMediaMuxer.stop();
mMediaMuxer.release();
return true;
}