Android MediaExtractor + MediaMuxer 分离音视频

一、背景

Video和Audio通常具备多种品质，视频里有如480P、720P、1080P、2K...等，而Video中有普通音质、middle音质、HQ音质等，在目前降本增效的愿景的下，需要考虑到的降低存储成本和传输成本，因此有必要对音频和视频实现动态合成，当然这和本文标题和本文写作目的背离。本文的目的是想实现在手机端实现默认音质且其他音质的方案。

考虑到ExoPlayer可以实现切换音质，但对于MediaPlayer而言，这个是相当困难的，所有本文重点实质是解决MediaPlayer音质切换问题的第一步——音视频分离。

二、分离原理

在Android中，官方提供了MediaExtrator，虽然相比ExoPlayer自行实现的一套方案还是比较鸡肋，但对音视频动态分离，其提供的能力足矣。

MediaPlayer我们都知道，其DataSource不如ExoPlayer灵活，此外新接口MediaDataSource也不兼容早起版本，所有可以使用也就是使用Url实现中间处理过程，具体过程如下：

【数据源】 - 【Proxy】 -> 【MediaPlayer】

具体代理过程中我们不细述，这里我们会在Proxy做一些处理,如下面方式

【数据源】 -> 【音视频分离】 -> 视频Proxy -> MediaPlayer

这部分代码我们不具体处理，这里主要来说音视频分离方式。

三、核心逻辑

MediaExtractor 负责分离数据

MediaMuxer     负责合成分离后的数据

这里最大的问题是为什么要合成分离后的数据？

实际上MediaExtractor是解封装了数据，但封装信息和数据是单独存储的么，因此需要将封装信息重新和数据整合。

核心代码

public class MediaTrackExtractor {

    private static final String TAG = "MediaTrackExtractor";

    public static void extractAudioOrVideo(String mimeHead, String pathOrUrl, String outputPath) {
        MediaExtractor mediaExtractor = new MediaExtractor();
        MediaMuxer mediaMuxer = null;
        try {
            // 设置视频源
            mediaExtractor.setDataSource(pathOrUrl);
            // 轨道索引
            int audioIndex = -1;
            // 视频轨道格式信息
            MediaFormat mediaFormat = null;
            // 数据源的轨道数
            int trackCount = mediaExtractor.getTrackCount();
            for (int i = 0; i < trackCount; i++) {
                MediaFormat format = mediaExtractor.getTrackFormat(i);
                String mimeType = format.getString(MediaFormat.KEY_MIME);
                if (mimeType.startsWith(mimeHead + "/")) {
                    audioIndex = i;
                    mediaFormat = format;
                    break;
                }
            }
            // 切换到想要的轨道
            mediaExtractor.selectTrack(audioIndex);
            File outFile = new File(outputPath);
            if (outFile.exists()) {
                outFile.delete();
            }

            mediaMuxer = new MediaMuxer(outFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            //这里MUXER_OUTPUT_MPEG_4 是因为大部分视频是mpeg4封装，具体情况下按具体传入不同类型

            int trackIndex = mediaMuxer.addTrack(mediaFormat);


            int maxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);
            ByteBuffer byteBuffer = ByteBuffer.allocate(maxInputSize);
            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            mediaMuxer.start();

            while (true) {
                // 将样本数据存储到字节缓存区
                int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0);  //采样数据
                // 如果没有可获取的样本，退出循环
                if (readSampleSize < 0) {
                    mediaExtractor.unselectTrack(audioIndex);
                    break;
                }
                bufferInfo.size = readSampleSize;
                bufferInfo.offset = 0;
                bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
                int sampleFlags = mediaExtractor.getSampleFlags();

                if (sampleFlags == MediaExtractor.SAMPLE_FLAG_SYNC) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_KEY_FRAME;  //关键帧
                } else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_PARTIAL_FRAME) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_PARTIAL_FRAME; // 非关键帧
                } else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_ENCRYPTED) {
                    bufferInfo.flags = MediaCodec.BUFFER_FLAG_CODEC_CONFIG; //存在内部封装
                }
                mediaMuxer.writeSampleData(trackIndex, byteBuffer, bufferInfo);
                // 读取下一帧数据
                mediaExtractor.advance();
            }
            Log.i(TAG, "分离" + mimeHead + "完成");
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (mediaMuxer != null) {
                mediaMuxer.stop();
                mediaMuxer.release();
            }
            mediaExtractor.release();
        }
    }


}

使用方式

File dir = new File(mMp4FilePath).getParentFile();
Log.d(TAG,"开始提取");
File videoOutputFile = new File(dir,"sample_oceans_extrator.mp4");
File audioOutputFile = new File(dir,"sample_oceans_extrator.mp3");

MediaTrackExtractor.extractAudioOrVideo("video",mMp4FilePath,videoOutputFile.getAbsolutePath());
                       
MediaTrackExtractor.extractAudioOrVideo("audio",mMp4FilePath,audioOutputFile.getAbsolutePath());

Log.d(TAG,"提取完成");