android 打开rp文档,android音视频学习之路四-MediaExtractor&MediaMuxer

一、写代码之前，先简单的对相关的几个类进行简单的了解

1.MediaExtractor

用于分离容器内的视频track和音频track,说直观点就是提取多路的，通常编码的视频资源。

主要API介绍：

setDataSource(String path)：即可以设置本地文件又可以设置网络文件

getTrackCount()：得到源文件通道数

getTrackFormat(int index)：获取指定(index)的通道格式

getSampleTime()：返回当前的时间戳

readSampleData(ByteBuffer byteBuf, int offset)：把指定通道中的数据按偏移量读取到ByteBuffer中；

advance()：读取下一帧数据

release(): 读取结束后释放资源

2.MediaMuxer

用于复用基本流，用它可以进行音频和视频的合成。目前支持输出MP4,Webm和3GP格式的视频，在android7.0以后支持复用帧的MP4。

在官方文档中，MediaMuxer仅支持一个音频track和视频track，所以如果有多个音频track，可以先将他们和为一个音频track然后再使用MediaMuxer封装到MP4容器中。

通常视频编码使用H.264(AVC)编码，音频编码使用AAC编码，在MediaFormat中我们可以看到各种格式的编码。

public static final String MIMETYPE_VIDEO_AVC = "video/avc";

public static final String MIMETYPE_AUDIO_AAC = "audio/mp4a-latm";

public static final String MIMETYPE_TEXT_CEA_608 = "text/cea-608";

上面各自摘取了视频，音频和声道d的一种编码格式

相关API介绍：

MediaMuxer(String path, int format)：path:输出文件的名称 format:输出文件的格式；当前只支持MP4格式；

addTrack(MediaFormat format)：添加通道；我们更多的是使用MediaCodec.getOutpurForma()或Extractor.getTrackFormat(int index)来获取MediaFormat;也可以自己创建；

start()：开始合成文件

writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)：把ByteBuffer中的数据写入到在构造器设置的文件中；

stop()：停止合成文件

release()：释放资源

3.MediaFormat

封装类，封装了描述媒体数据格式的信息，如音频或视频，通过它我们可以取出音频或者视频。比如：获取指定mime类型的媒体格式。

String type = mediaFormat.getString(MediaFormat.KEY_MIME);

接下来我利用MediaExtractor.getTrackFormat(int)打印了mediaformat的内容，下面简单的罗列一些：

csd-1=java.nio.HeapByteBuffer[pos=0 lim=8 cap=8]：csd参数在官方文档中叫Codec-specific Data，详细介绍可以看MediaCodec官方文档- Codec-specific Data部分。对于H.264来说，"csd-0"和"csd-1"分别对应sps和pps；对于AAC来说，"csd-0"对应ADTS

, mime=video/avc ：MIME类型，媒体格式，比如此处的“video/”开头既指视频轨

, frame-rate=30：帧率，每秒显示的帧数

, track-id=1：轨道id 1为视频轨，2 为音轨

, width=1280：视频宽度

, height=720：视频高度

, max-input-size=154188：数据缓冲区最大大小(字节)，是不是可以理解为视频轨的大小？？？

, durationUs=117150483：时间(戳)，以微妙为单位

, csd-0=java.nio.HeapByteBuffer[pos=0 lim=28 cap=28]

, level=2048：等级，主要的有4个等级 低级(LL),主级(ML)，1440高级H14L(High 1440 Level)，高级HL(High Level)

, profile=8：是指MPEG-2的不同处理方法，每一类都包括压缩和处理方法的一个集合，较高的类意味着采用较多的编码工具集，进行更精细的处理，达到更好的图像质量，同时实现的代价也更大

>>>level&profile解释

其中在音轨中，还出现了(这几个在前面的作业2中有所介绍)：

bitrate=96000:指的是比特率，这值越高，越清晰

simple-rate=44100：音频采样率

channel-count=2：声道数

二、完成作业4

使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件

第一步，定义目标视频路径

此处用一个网络连接作为源文件,定义输出目录mOutputVideoPath

private String netPath = "http://jdplay.lecloud.com/play.videocache.lecloud.com/187/28/92/letv-gug/14/ver_00_22-1051581402-avc-1507856-aac-96000-117151-23680505-2e0b3774490e51ac469db4313025b877-1466497857703.mp4?crypt=13aa7f2e25900&b=259&nlh=4096&nlt=60&bf=8000&p2p=1&video_type=mp4&termid=0&tss=no&platid=3&splatid=345&its=0&qos=3&fcheck=0&amltag=7&mltag=7&uid=3663232631.rp&keyitem=GOw_33YJAAbXYE-cnQwpfLlv_b2zAkYctFVqe5bsXQpaGNn3T1-vhw..&ntm=1553515800&nkey=f2230cd511223543acdd24e6cec84eff&nkey2=2479b45597488a767015d4251beb7875&auth_key=1553515800-1-0-3-345-37a8f78c20cee9b8cd9c0c9b7f7cebd2&geo=CN-23-323-1&mmsid=65565355&tm=1499247143&key=f0eadb4f30c404d49ff8ebad673d3742&playid=0&vtype=21&cvid=2026135183914&payff=0&sign=mb&dname=mobile&tag=mobile&xformat=super&uidx=0&errc=424&gn=50038&ndtype=2&vrtmcd=102&buss=7&cips=218.88.126.119";

private String mOutputVideoPath = Environment.getExternalStorageDirectory().getPath()+"/test.mp4";

第二步，定义方法用于解析和封装音视频文件

各种方法都进行了注释 这儿就不赘述了

private void analysisAudioAndVideo() throws IOException{

int mainAudioMaxInputSize = 0; //能获取的音频的最大值

int frameMaxInputSize = 0; //能获取的视频的最大值

int frameRate = 0; //视频的帧率

if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.JELLY_BEAN_MR2) {

MediaMuxer mMediaMuxer = new MediaMuxer(mOutputVideoPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);

/**

* 视频的MediaExtractor

*/

MediaExtractor mVideoExtractor = new MediaExtractor();

mVideoExtractor.setDataSource(netPath);

int videoTrackIndex = -1; //视频轨

for (int i=0;i

MediaFormat mediaFormat = mVideoExtractor.getTrackFormat(i); //得到指定索引的记录格式

if (mediaFormat.getString(MediaFormat.KEY_MIME).startsWith("video/")){//指定mime类型的媒体格式作为筛选条件 String type = mediaFormat.getString(MediaFormat.KEY_MIME);

mVideoExtractor.selectTrack(i);//将提供视频的视频选择到视轨上

videoTrackIndex = mMediaMuxer.addTrack(mediaFormat);//将视轨添加到MediaMuxer，并返回新的轨道

frameMaxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);//得到能获取的有关视频的最大值

frameRate = mediaFormat.getInteger(MediaFormat.KEY_FRAME_RATE);//获取视频的帧率

}

}

/**

* 音频的MediaExtractor

*/

MediaExtractor mAutioExtractor = new MediaExtractor();

mAutioExtractor.setDataSource(netPath);

int autioTrackIndex = -1;//音频轨

for (int i=0;i

MediaFormat mediaFormat = mAutioExtractor.getTrackFormat(i);//得到指定索引的记录格式

if (mediaFormat.getString(MediaFormat.KEY_MIME).startsWith("audio/")){//指定mime类型的媒体格式作为筛选条件 找到音轨

mAutioExtractor.selectTrack(i);//将提供音频的视频选择到音轨上

autioTrackIndex = mMediaMuxer.addTrack(mediaFormat);//将音轨添加到MediaMuxer，并返回新的轨道

mainAudioMaxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE); //得到能获取的有关音频的最大值

}

}

//添加完毕所有轨道以后调用start()方法，后面不要忘记释放资源

mMediaMuxer.start();

//封装视频track

if (-1 != videoTrackIndex) {

MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();

info.presentationTimeUs = 0;

ByteBuffer buffer = ByteBuffer.allocate(frameMaxInputSize);

while (true) {

int sampleSize = mVideoExtractor.readSampleData(buffer, 0);//检索当前编码的样本并将其存储在字节缓冲区中

if (sampleSize < 0) {//如果没有可获取的样本则退出循环

break;

}

//设置样本编码信息

info.offset = 0;//必须填入数据的大小

info.size = sampleSize;

info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;// 需要给出是否为同步帧/关键帧

info.presentationTimeUs += 1000 * 1000 / frameRate;//必须给出正确的时间戳，注意单位是 us

Log.e("-----------",mVideoExtractor.getSampleTime()+"");

mMediaMuxer.writeSampleData(videoTrackIndex, buffer, info);//将样本写入

mVideoExtractor.advance(); //推进到下一个样本，类似快进

}

}

// 封装音频track

if (-1 != autioTrackIndex) {

MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();

info.presentationTimeUs = 0;

ByteBuffer buffer = ByteBuffer.allocate(mainAudioMaxInputSize);

while (true) {

int sampleSize = mAutioExtractor.readSampleData(buffer, 0);

if (sampleSize < 0) {

break;

}

info.offset = 0;

info.size = sampleSize;

info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;

info.presentationTimeUs = mAutioExtractor.getSampleTime();

mMediaMuxer.writeSampleData(autioTrackIndex, buffer, info);

mAutioExtractor.advance();

}

}

// 释放MediaExtractor

mVideoExtractor.release();

mAutioExtractor.release();

// 释放MediaMuxer

mMediaMuxer.stop();

mMediaMuxer.release();

Log.e("---------------","合并完成!");

button.setText("合并完成！");

}

}

第三步，使用

try {

button.setText("合成中……");

analysisAudioAndVideo();

} catch (IOException e) {

e.printStackTrace();

Log.e("-----------","异常"+e.toString());

}

最后，播放合成的视频，视频地址就是我们的输出地址mOutputVideoPath

image.png

最后我试了一下，分别注释掉音轨解析或视频轨解析，分别能够播放没有声音的图像和没有图像的声音。

至于怎么播放的，此处直接用的VideoView，前面文章有写，不懂的小伙伴可以去瞅瞅。当然的权限就直接设置，动态设置就没高了比较懒。