【Android】使用MediaExtractor、MediaMuxer去掉视频文件中的音频数据

1 简介

        本文以 mp4 文件为例，讲解去音频操作。mp4 是一种视频封装的容器，里面包含音频（audio）和视频（video）数据，对应的数据编码格式分别为 aac 和 h264。在去音频过程中，主要使用到 MediaFormat、MediaExtractor、MediaMuxer，其作用如下：

• MediaFormat：用于存储视频轨或音频轨的信息（MIME、时长、帧率、比特率、关键帧间隔、视频宽高等）；
• MediaExtractor：媒体分离器，用于分离音频和视频数据，并且能够遍历帧数据；
• MediaMuxer：媒体复合器，用于合成音频和视频数据。

        （1）MediaFormat

//初始化
MediaFormat mediaFormat = new MediaFormat()
MediaFormat mediaFormat = mediaExtractor.getTrackFormat(i)

//获取MIME
String mime = mediaFormat.getString(MediaFormat.KEY_MIME)

//获取总时长（单位：微秒us）
long durationTime = mediaFormat.getLong(MediaFormat.KEY_DURATION)

//获取帧率
int frameRate = mediaFormat.getInteger(MediaFormat.KEY_FRAME_RATE)

//获取比特率
int bitRate = mediaFormat.getInteger(MediaFormat.KEY_BIT_RATE)

//获取视频宽度（像素：px）
int width = mediaFormat.getInteger(MediaFormat.KEY_WIDTH)

//获取视频高度（像素：px）
int height = mediaFormat.getInteger(MediaFormat.KEY_HEIGHT)

//获取关键帧间隔（单位：秒）
int iFrameInterval = mediaFormat.getInteger(MediaFormat.KEY_I_FRAME_INTERVAL)

        用户也可以调用 mediaFormat.setX()方法注入属性。

        （2）MediaExtractor

//初始化
MediaExtractor mediaExtractor = new MediaExtractor()

//设置资源
setDataSource(String input_path)
mediaExtractor.setDataSource("/sdcard/Pictures/WeiXin/a.mp4")

//获取轨道数
mediaExtractor.getTrackCount()

//获取 mediaFormat
MediaFormat mediaFormat = mediaExtractor.getTrackFormat(index) //index为轨道编号

//选择轨道
mediaExtractor.selectTrack(index) //index为轨道编号

//读取1帧数据到buffer
int input_size = format.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE) //获取最大输入缓存大小
ByteBuffer buffer = ByteBuffer.allocate(input_size)
int sampleSize = mediaExtractor.readSampleData(buffer, offset) //offset一般取0

//读取下一帧数据
mediaExtractor.advance()

//定位到timeUs附近的关键帧
mediaExtractor.seekTo(timeUs, mode) //mode一般取 MediaExtractor.SEEK_TO_CLOSEST_SYNC

//释放资源
mediaExtractor.release()

        （3）MediaMuxer

//初始化
MediaMuxer(String output_path, int format)
MediaMuxer mediaMuxer = new MediaMuxer("/sdcard/a.mp4", MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)

//添加轨道
int videoTrackIndex = mediaMuxer.addTrack(mediaFormat)

//开始合成文件
mediaMuxer.start()

//写入数据
writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)

//释放资源
mediaMuxer.stop()
mediaMuxer.release()

2 案例

@RequiresApi(api = Build.VERSION_CODES.JELLY_BEAN_MR2)
private void get_video() throws IOException {
    String input_path = "/sdcard/Pictures/WeiXin/a.mp4"; //源视频素材
    String output_path = "/sdcard/a.mp4"; //去音频后的素材
    MediaExtractor mediaExtractor = new MediaExtractor();
    mediaExtractor.setDataSource(input_path);
    MediaMuxer mediaMuxer = new MediaMuxer(output_path, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
    int input_size =0;
    int videoTrackIndex = -1;
    int count = mediaExtractor.getTrackCount(); //获取轨道数
    for (int i = 0; i < count; i++) {
        MediaFormat format = mediaExtractor.getTrackFormat(i);
        String mime = format.getString(MediaFormat.KEY_MIME);
        if (mime.startsWith("video/")) { // mp4为“video/avc”
            input_size = format.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);
            mediaExtractor.selectTrack(i);
            videoTrackIndex = mediaMuxer.addTrack(format);
            break;
        }
    }
    mediaMuxer.start();
    int sampleSize = 0;
    MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
    ByteBuffer buffer = ByteBuffer.allocate(input_size); //也可以设置为：500*1024
    while ((sampleSize = mediaExtractor.readSampleData(buffer, 0)) > 0) {
        info.offset = 0;
        info.size = sampleSize;
        info.flags = mediaExtractor.getSampleFlags();
        info.presentationTimeUs = mediaExtractor.getSampleTime();
        mediaMuxer.writeSampleData(videoTrackIndex, buffer, info); //写入数据
        mediaExtractor.advance(); //下一帧
    }
    mediaExtractor.release();
    mediaMuxer.stop();
    mediaMuxer.release();
}

3 拓展

        可以通过修改 BufferInfo 的 presentationTimeUs 属性，实现倍速导出视频，如下：

float speed = 3.0f; //播放速度
info.presentationTimeUs = (long)(mediaExtractor.getSampleTime()/speed);
mediaMuxer.writeSampleData(videoTrackIndex, buffer, info); //写入数据

        特别注意：不要试图通过修改 BufferInfo 的 flags 属性改变帧标签（I帧、P帧、B帧），若想修改帧标签，需要使用 Mediacodec 重新解码和编码。