Android 音视频学习：MediaExtractor和MediaMuxer学习

最新推荐文章于 2024-05-06 21:52:00 发布
最新推荐文章于 2024-05-06 21:52:00 发布
阅读量541 收藏 5
点赞数 1
分类专栏： 音视频 文章标签： android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34760508/article/details/106660782
版权

概述

继续学习MediaExtractor和MediaMuxer，主要作用就是音视频的分离和合成，此篇博客仅作为笔记使用，以防之后忘记

MediaExtractor

这个类的主要作用是把音频数据和视频数据分离

主要的API

方法描述
setDataSource(String path)设置源文件，既可以是本地文件也可以是网络文件
getTrackCount()获取源文件的通道数
getTrackFormat(int index)获取指定index的通道格式
getSampleTime()以微秒为单位返回当前样本的呈现时间。
readSampleData(ByteBuffer byteBuf, int offset)把指定通道中的数据，按照偏移量读取到ByteBuffer中
advance()读取下一帧的数据
release()完成后释放资源

MediaMuxer

这个类的组要作用是生成音频视频文件，还可以把音频和视频文件合成一个音视频文件

主要的API

方法描述
MediaMuxer(String path, int format)path：输出文件的名称，format：输出文件的格式
addTrack(MediaFormat format)添加通道，我们可以用MediaCodec.getOutpurForma()或者Extractor.getTrackFormat(int index)来获取MediaFormat，也可以自己建
start()开始合成文件
writeSampleData(int trackIndex, ByteBuffer byteBuf, MediaCodec.BufferInfo bufferInfo)把ByteBuffer的数据写入到文件中
stop()停止合成
release()释放资源

实战

MediaExtractor的使用

private void start() {
        FileOutputStream videooutputStream = null;
        FileOutputStream audiooutputStream = null;
        MediaExtractor mediaExtractor = null;
        try {
            File videofile = new File("/sdcard/aaapcm/video.mp4");
            File audiofile = new File("/sdcard/aaapcm/audio.pcm");
            videooutputStream = new FileOutputStream(videofile);
            audiooutputStream = new FileOutputStream(audiofile);
            mediaExtractor = new MediaExtractor();
            //设置源文件
            mediaExtractor.setDataSource("/sdcard/aaapcm/text.mp4");
            //获取通道数
            int trackCount = mediaExtractor.getTrackCount();
            int audio = -1;
            int video = -1;
            for (int i = 0; i < trackCount; i++) {
                MediaFormat trackFormat = mediaExtractor.getTrackFormat(i);
                String formatString = trackFormat.getString(MediaFormat.KEY_MIME);
                Log.d("mmm", formatString);
                //视频通道
                if (formatString.startsWith("video/")) {
                    video = i;
                    Log.d("mmm", "视频" + video);
                }

                //音频通道
                if (formatString.startsWith("audio/")) {
                    audio = i;
                    Log.d("mmm", "音频" + audio);
                }
            }

            ByteBuffer byteBuffer = ByteBuffer.allocate(500 * 1024);

            //选择视频通道
            mediaExtractor.selectTrack(video);
            int i;
            //拿到视频通道的数据，写入到文件
            while ((i = mediaExtractor.readSampleData(byteBuffer, 0)) > 0) {
                byte[] bytes = new byte[i];
                byteBuffer.get(bytes);
                videooutputStream.write(bytes);
                byteBuffer.clear();
                mediaExtractor.advance();
            }
            videooutputStream.close();

            
            //选择音频通道
            mediaExtractor.selectTrack(audio);
            //拿到音频通道的数据并写入文件
            while ((i = mediaExtractor.readSampleData(byteBuffer, 0)) > 0) {
                byte[] bytes = new byte[i];
                byteBuffer.get(bytes);
                audiooutputStream.write(bytes);
                byteBuffer.clear();
                mediaExtractor.advance();
            }
            audiooutputStream.close();

            Log.d("mmm", "分离结束");


        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (mediaExtractor != null) {
                mediaExtractor.release();
            }
        }
    }

这部分代码主要是分离源文件的音频和视频分别保存在俩个文件中，分离后的文件并不能播放，需要在次合成才行，下面继续看下分析可播放的音频和视频

MediaMuxer的使用

这个需要MediaMuxer和MediaExtractor配合使用

分离视频数据并合成到新的MP4文件，新的MP4可播放
    public void video() {
        MediaMuxer mediaMuxer = null;
        try {
            MediaExtractor mediaExtractor = new MediaExtractor();
            //设置源文件
            mediaExtractor.setDataSource("/sdcard/aaapcm/text.mp4");
            //获取通道数
            int trackCount = mediaExtractor.getTrackCount();
            int videoTrackindex = -1;
            int framerate = -1;
            for (int i = 0; i < trackCount; i++) {
                MediaFormat trackFormat = mediaExtractor.getTrackFormat(i);
                String formatString = trackFormat.getString(MediaFormat.KEY_MIME);
                //找到视频通道
                if (formatString.startsWith("video/")) {
                    framerate = trackFormat.getInteger(MediaFormat.KEY_FRAME_RATE);
                    //选择视频通道
                    mediaExtractor.selectTrack(i);
                    //创建MediaMuxer
                    mediaMuxer = new MediaMuxer("/sdcard/aaapcm/video11.mp4", MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
                    //添加通道
                    videoTrackindex = mediaMuxer.addTrack(trackFormat);
                    //开始合成
                    mediaMuxer.start();
                    break;
                }
            }

            if (mediaMuxer == null) {
                return;
            }

            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            bufferInfo.presentationTimeUs = 0;

            ByteBuffer byteBuffer = ByteBuffer.allocate(500 * 1024);

            int i = 0;
            //从源文件读取视频数据
            while ((i = mediaExtractor.readSampleData(byteBuffer, 0)) > 0) {
                bufferInfo.offset = 0;
                bufferInfo.size = i;
                bufferInfo.flags = mediaExtractor.getSampleFlags();
                bufferInfo.presentationTimeUs += 1000 * 1000 / framerate;
                //把读取到的视频数据重新合成到新的文件
                mediaMuxer.writeSampleData(videoTrackindex, byteBuffer, bufferInfo);
                mediaExtractor.advance();
            }

            mediaExtractor.release();

            mediaMuxer.stop();
            mediaMuxer.release();

            Log.d("mmm", "分离视频结束");

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
分离音频数据并合成到新的wav文件，新的wav可播放
  public void audio() {
        MediaMuxer mediaMuxer = null;
        try {
            MediaExtractor mediaExtractor = new MediaExtractor();
            //添加源文件
            mediaExtractor.setDataSource("/sdcard/aaapcm/text.mp4");
            //获取通道数
            int trackCount = mediaExtractor.getTrackCount();
            int audioTrackindex = -1;
            int framerate = -1;
            for (int i = 0; i < trackCount; i++) {
                MediaFormat trackFormat = mediaExtractor.getTrackFormat(i);
                String formatString = trackFormat.getString(MediaFormat.KEY_MIME);
                //找到音频通道
                if (formatString.startsWith("audio/")) {
                    mediaExtractor.selectTrack(i);
                    //创建MediaMuxer
                    mediaMuxer = new MediaMuxer("/sdcard/aaapcm/video11.wav", MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
                    //添加通道
                    audioTrackindex = mediaMuxer.addTrack(trackFormat);
                    //开始合成
                    mediaMuxer.start();
                }

                if (formatString.startsWith("video/")) {
                    framerate = trackFormat.getInteger(MediaFormat.KEY_FRAME_RATE);
                    break;
                }


            }

            if (mediaMuxer == null) {
                return;
            }

            MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
            bufferInfo.presentationTimeUs = 0;

            ByteBuffer byteBuffer = ByteBuffer.allocate(500 * 1024);

            int i = 0;
            //分离音频数据
            while ((i = mediaExtractor.readSampleData(byteBuffer, 0)) > 0) {
                bufferInfo.offset = 0;
                bufferInfo.size = i;
                bufferInfo.flags = mediaExtractor.getSampleFlags();
                bufferInfo.presentationTimeUs += 1000 * 1000 / framerate;
                //把分离的音频数据合成到新的文件
                mediaMuxer.writeSampleData(audioTrackindex, byteBuffer, bufferInfo);
                mediaExtractor.advance();
            }

            mediaExtractor.release();

            mediaMuxer.stop();
            mediaMuxer.release();

            Log.d("mmm", "分离音频结束");

        } catch (IOException e) {
            e.printStackTrace();
        }
    }
把刚才分离出来的视频文件和音频文件重新合成为音视频文件
    public void hecheng() {
        try {
            MediaExtractor videoExtractor = new MediaExtractor();
            videoExtractor.setDataSource("/sdcard/aaapcm/video11.mp4");
            int trackCount = videoExtractor.getTrackCount();
            int framerate = 0;
            MediaFormat videotrackFormat = null;
            for (int i = 0; i < trackCount; i++) {
                videotrackFormat = videoExtractor.getTrackFormat(i);
                String formatString = videotrackFormat.getString(MediaFormat.KEY_MIME);
                if (formatString.startsWith("video/")) {
                    videoExtractor.selectTrack(i);
                    framerate = videotrackFormat.getInteger(MediaFormat.KEY_FRAME_RATE);
                }
            }

            MediaExtractor audioExtractor = new MediaExtractor();
            audioExtractor.setDataSource("/sdcard/aaapcm/video11.wav");
            MediaFormat audiotrackFormat = null;
            int trackCount1 = audioExtractor.getTrackCount();
            for (int i = 0; i < trackCount1; i++) {
                audiotrackFormat = audioExtractor.getTrackFormat(i);
                String formatString = audiotrackFormat.getString(MediaFormat.KEY_MIME);
                if (formatString.startsWith("audio/")) {
                    audioExtractor.selectTrack(i);
                }
            }

            MediaCodec.BufferInfo videobufferInfo = new MediaCodec.BufferInfo();
            MediaCodec.BufferInfo audiobufferInfo = new MediaCodec.BufferInfo();


            MediaMuxer mediaMuxer = new MediaMuxer("sdcard/aaapcm/hecheng.mp4", MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
            int writeAudioTrackIndex = mediaMuxer.addTrack(audiotrackFormat);
            int writeVideoTrackIndex = mediaMuxer.addTrack(videotrackFormat);
            mediaMuxer.start();

            ByteBuffer byteBuffer = ByteBuffer.allocate(500 * 1024);
            int i;
            while ((i = videoExtractor.readSampleData(byteBuffer, 0)) > 0) {
                videobufferInfo.size = i;
                videobufferInfo.offset = 0;
                videobufferInfo.flags = videoExtractor.getSampleFlags();
                videobufferInfo.presentationTimeUs += 1000 * 1000 / framerate;
                mediaMuxer.writeSampleData(writeVideoTrackIndex, byteBuffer, videobufferInfo);
                videoExtractor.advance();
            }

            while ((i = audioExtractor.readSampleData(byteBuffer, 0)) > 0) {
                audiobufferInfo.size = i;
                audiobufferInfo.offset = 0;
                audiobufferInfo.flags = audioExtractor.getSampleFlags();
                audiobufferInfo.presentationTimeUs += 1000 * 1000 / framerate;
                mediaMuxer.writeSampleData(writeAudioTrackIndex, byteBuffer, audiobufferInfo);
                audioExtractor.advance();
            }

            videoExtractor.release();
            audioExtractor.release();
            mediaMuxer.stop();
            mediaMuxer.release();

            Log.d("mmm", "合成完毕");


        } catch (IOException e) {
            e.printStackTrace();
        }

    }

参考

https://blog.csdn.net/zhi184816/article/details/52514138
https://www.cnblogs.com/renhui/p/7478527.html

renxhui
关注
专栏目录
Android音视频合成工具-MediaMuxer
安卓开发&音视频开发
09-11 2万+
1️⃣、目标：把音视频流(使用各种通道传输过来的字节流)合成视频文件 2️⃣、工具：Android原生框架自带的MediaMuxer类 3️⃣、方案： private MediaMuxer mMuxer; ①MediaMuxer初始化 mMuxer = new MediaMuxer(“需要保存的路径”,MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4); ...
Android MediaExtractor + MediaMuxer 分离音视频
M_Andrain的博客
05-28 100
一、背景 Video和Audio通常具备多种品质，视频里有如480P、720P、1080P、2K...等，而Video中有普通音质、middle音质、HQ音质等，在目前降本增效的愿景的下，需要考虑到的降低存储成本和传输成本，因此...
MediaExtractor抽取视频->MediaMuxer产生视频文件
10-09
通过MediaExtractor抽取视频，然后再通过MediaMuxer产生视频文件
Android MediaMuxer
liuning1985622的博客
05-06 486
MediaMuxer是Android提供的一个用于音视频封装的类，可以将音频和视频数据封装成一个完整的音视频文件。它可以将多个音频和视频轨道合并成一个文件，并且可以对音视频进行编码和封装。MediaMuxer的使用需要先构造MediaMuxer对象，然后添加音视频轨道，最后调用start()方法开始合成音视频文件。在添加音视频轨道时，需要先构造MediaFormat对象，设置音视频的编码格式、采样率、码率等参数，然后调用addTrack()方法将轨道添加到MediaMuxer中。
Android音视频MediaExtractor和MediaMuxer使用
这个杀手不太累的博客
07-20 1277
MediaExtractor使用MediaExtractor简介MediaExtractor使用 MediaExtractor简介 MediaExtractor用来把视频和音频的数据进行分离 对于一个常见的视频文件，有一个视频轨道，和一个音频轨道，通过MediaExtractor来分离音视频数据 MediaExtractor使用 ...
Android音视频处理之MediaMuxer
weixin_33676492的博客
11-06 833
MediaMuxer用来产生一个混合的音频和视频的多媒体文件。缺点是，现在可以只支持一个audio track而一个video track，而唯一支持mp4出口。首先通过new MediaMuxer(String path, int format)指定视频文件输出路径和文件格式muxer = new MediaMuxer(outputFile.getAbsolutePath(), ...
音视频进阶：浅谈Android 开发音视频入门之路
m0_64420071的博客
09-06 1247
很多开发者都知道Android音视频开发这个概念，音视频开发不仅需要掌握图像、音频、视频的基础知识，并且还需要掌握如何对它们进行采集、渲染、处理、传输等一系列的开发和应用，因此，音视频开发是一门涉及到很多内容的领域。
android音视频.zip
09-11
项目是进行android音视频进阶的整个流程学习流程代码，其中包括1.在 Android 平台绘制一张图片，使用至少 3 种不同的 API，ImageView，SurfaceView，自定义 View 2.在 Android 平台使用 AudioRecord 和 AudioTrack ...
基于Android音视频开发的AVProject.zip
最新发布
09-01
AVProject是一个专注于Android音视频开发的学习和实践项目。通过一系列的步骤和示例代码，帮助开发者掌握音视频采集、处理、编码、封装、传输和播放的全流程。 ## 学习线路 1. **绘制图片**：使用ImageView、...
Android 音视频难学？音视频（流媒体）开发学习也有套路
m0_64420071的博客
08-11 1235
我们都知道音视频流媒体开发这块的知识比较纷繁复杂，对新手很不友好，自学难度大，想要们既需要比较扎实的C/C++基础，又需要有很多的工程/项目经验，今天就从音视频开发/开源框架/就业方向分析，为广大开发者学习音视频技术提供系统学习的方向。...
Android 音视频开发之MediaMuxer
ArvinFei的博客
05-02 1885
简介 在Android中，可以使用MediaMuxer来封装编码后的视频流和音频流到mp4容器中，MediaMuxer最多仅支持一个视频track和一个音频track，所以如果有多个音频track可以先把它们混合成为一个音频track然后再使用MediaMuxer封装到mp4容器中。 通常视频编码使用H.264(AVC)编码，音频编码使用AAC编码，在MediaFormat中我们可以看到各种编码格...
Android MediaMuxer录像（支持G711音频）
热门推荐
jyt0551的博客
05-27 1万+
Android平台的MediaMuxer是个非常好的录像库，它能将H.264视频+AAC音频存储成.mp4格式的文件，而且稳定性、同步效果都非常好。MediaMuxer在安卓版的EasyPlayer和EasyPusher都用到了该方法来进行本地录像。作者也写过两篇针对性的博客来做介绍，参考： http://blog.csdn.net/jyt0551/article/details/60152344
在 Android 上使用 MediaExtractor 和 MediaMuxer 提取视频\提取音频\转封装\添加音频等操作
记录学习的过程
01-02 2971
之前我们介绍了 FFmpeg 并利用它解封装、编解码的能力完成了一款简易的视频播放器。额外的 so 文件。你需要将多个 so 文件集成至你的 app 中，使得 app 整体体积增加。额外的复杂性。这里的复杂性包括多个方面：集成的复杂性。为了引入 ffmpeg，你在编译脚本需要额外对这些库进行维护；此外，通常你不需要 FFmpeg 的全部能力，因此在编译 FFmpeg 库时你需要对其进行裁剪，这部分也需要额外的付出。编程的复杂性。
音视频开发之旅（五）MediaExtractor MediaMuxer 实现视频的解封装与合成
yabin的专栏
10-21 1750
目录 MediaExtractor MediaMuxer 能做什么 视频解封装和合成的API以及流程介绍 三个实践（视频解封装提取纯音轨和视频轨文件、再合成新视频、给视频换个背景音） 遇到的问题 收获 一、有什么实际应用 在我们日常使用短视频软件的时候，对视频的裁剪，拼凑，加入背景是很常用的操作，这些功能是如何实现的呐？其实是将视频多信道的分离出来，比如音轨和视频轨道分隔出来，可以做到二次合成。 今天我们通过对来MediaExtractor和MediaM
使用Android系统的MediaMuxer写一个音视频合并的方法。
challenge51all的专栏
06-28 1789
使用Android系统的MediaMuxer写一个音视频合并的方法。
Android Multimedia实战（三）基于MediaExtractors与MediaMuxer的视频分离与合成
WangShuo的专栏
04-26 2280
上篇介绍了mp4parser合成视频功能：http://blog.csdn.net/king1425/article/details/70805960 ,这篇使用Android原生API实现视频的分离与合成MediaExtractors将视频多信道的分离出来，比如声音和图像分隔出来 1. JAVA层file: frameworks/base/media/Java/Android/media/M
android.MediaMuxer时间裁剪
海天鹰
02-01 576
【代码】android.MediaMuxer时间裁剪。
Exoplayer之MediaMuxer
AdrianAndroid的专栏
12-20 837
MediaMuxer注解的翻译
Android 音视频开发(五) -- 使用 MediaExtractor 分离音视频，并使用 MediaMuxer合成新视频(音视频同步)
夏至的稻穗的博客
07-14 6122
音视频学习demo,正在升级打怪，加油鸭~ Android 音视频开发(一) – 使用AudioRecord 录制PCM(录音)；AudioTrack播放音频 Android 音视频开发(二) – Camera1 实现预览、拍照功能 Android 音视频开发(三) – Camera2 实现预览、拍照功能 Android 音视频开发(四) – CameraX 实现预览、拍照功能 工程：音视频demo 前几章，我们已经为音视频学习打下了一定的基础。 这一章，我们来学习如何使用 MediaExtractor.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值