多媒体系统之MediaMuxer和MediaExtractor（五），2024高级Android笔试总结

2.写数据
writeSampleData
3.释放
release

注意点

buffinfo 必须设置相应的有效值，不然会引发错误
//写入数据大小
bufferInfo.size = readSampleDataSize;
//偏移量
bufferInfo.offset = 0;
//是否为关键帧
bufferInfo.flags = mediaExtractor.getSampleFlags();
//PTS 单位为微妙，必须为递增不然会报错
bufferInfo.presentationTimeUs += videoSampleTime;
mediaMuxer.writeSampleData(trackIndex, buffer, bufferInfo);

这里重点关注下
bufferInfo.presentationTimeUs
mediaExtractor.getSampleTime()
因为mediaExtractor的提取顺序应该是dts的顺序不是pts的顺序，如果视频中存在b帧则getSampleTime不可能递增的，所以bufferInfo.presentationTimeUs=mediaExtractor.getSampleTime()可能会报错，前面说了这个值必须递增。如果不存在b帧，pts==dts，使用没问题。

设置PTS的办法
1.算出帧时间距,github上看见的，排除i帧来计算不知道是为什么，不排除感觉也一样的

long videoSampleTime;
// mediaExtractor.readSampleData(buffer, 0);
// //skip first I frame
// if (mediaExtractor.getSampleFlags() == MediaExtractor.SAMPLE_FLAG_SYNC)
// mediaExtractor.advance();
mediaExtractor.readSampleData(buffer, 0);
long firstVideoPTS = mediaExtractor.getSampleTime();
mediaExtractor.advance();
mediaExtractor.readSampleData(buffer, 0);
long SecondVideoPTS = mediaExtractor.getSampleTime();
videoSampleTime = Math.abs(SecondVideoPTS - firstVideoPTS);

2.通过帧率来计算

//每秒多少帧
int frameRate=mediaFormat=getInteger(MediaFormat.KEY_FRAME_RATE)
//得出平均每一帧间隔多少微妙
videoSampleTime=1000*1000/frameRate

最后提供2个简单的运用示例
有耗时，不要ui线程使用，只是演示

/**

• 提取音/视频
• @param inPath
• @param outPath
• @param isVideo
  */
  @TargetApi(Build.VERSION_CODES.JELLY_BEAN_MR2)
  public static void trackExtractor(String inPath, String outPath, boolean isVideo) {
  //提取器
  MediaExtractor mediaExtractor = new MediaExtractor();
  try {
  mediaExtractor.setDataSource(inPath);
  } catch (IOException e) {
  e.printStackTrace();
  }

MediaMuxer mediaMuxer = null;
//复用器
try {
mediaMuxer = new MediaMuxer(outPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
} catch (IOException e) {
e.printStackTrace();
}

int trackIndex = 0;
int trackCount = mediaExtractor.getTrackCount();
for (int i = 0; i < trackCount; i++) {
MediaFormat trackFormat = mediaExtractor.getTrackFormat(i);
String mime = trackFormat.getString(MediaFormat.KEY_MIME);
if (mime.startsWith(“video/”) && isVideo) {
trackIndex = mediaMuxer.addTrack(trackFormat);
mediaExtractor.selectTrack(i);
break;
} else if (mime.startsWith(“audio/”) && !isVideo) {
trackIndex = mediaMuxer.addTrack(trackFormat);
mediaExtractor.selectTrack(i);
break;
}
}
mediaMuxer.start();

ByteBuffer buffer = ByteBuffer.allocate(1024 * 1000);
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();

long videoSampleTime=getSampleTime(mediaExtractor,buffer);
while (true) {
int readSampleDataSize = mediaExtractor.readSampleData(buffer, 0);
if (readSampleDataSize < 0) {
break;
}
bufferInfo.size = readSampleDataSize;
bufferInfo.offset = 0;
bufferInfo.flags = mediaExtractor.getSampleFlags();
bufferInfo.presentationTimeUs += videoSampleTime;
mediaMuxer.writeSampleData(trackIndex, buffer, bufferInfo);
mediaExtractor.advance();
}

mediaExtractor.release();
mediaMuxer.stop();
//内部也会执行stop，所以可以不用执行stop
mediaMuxer.release();

}

private static long getSampleTime(MediaExtractor mediaExtractor, ByteBuffer buffer) {
long videoSampleTime;
// mediaExtractor.readSampleData(buffer, 0);
// //skip first I frame
// if (mediaExtractor.getSampleFlags() == MediaExtractor.SAMPLE_FLAG_SYNC)
// mediaExtractor.advance();
mediaExtractor.readSampleData(buffer, 0);
long firstVideoPTS = mediaExtractor.getSampleTime();
mediaExtractor.advance();
mediaExtractor.readSampleData(buffer, 0);
long SecondVideoPTS = mediaExtractor.getSampleTime();
videoSampleTime = Math.abs(SecondVideoPTS - firstVideoPTS);
Log.d(“MediaMuxerUtil”, "videoSampleTime is " + videoSampleTime);
return videoSampleTime;
}

/**

• 合成音视频

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip204888 （备注Android）

最后

其实Android开发的知识点就那么多，面试问来问去还是那么点东西。所以面试没有其他的诀窍，只看你对这些知识点准备的充分程度。so，出去面试时先看看自己复习到了哪个阶段就好。

虽然 Android 没有前几年火热了，已经过去了会四大组件就能找到高薪职位的时代了。这只能说明 Android 中级以下的岗位饱和了，现在高级工程师还是比较缺少的，很多高级职位给的薪资真的特别高（钱多也不一定能找到合适的），所以努力让自己成为高级工程师才是最重要的。

这里附上上述的面试题相关的几十套字节跳动，京东，小米，腾讯、头条、阿里、美团等公司21年的面试题。把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节。

由于篇幅有限，这里以图片的形式给大家展示一小部分。

网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

诸多细节。

由于篇幅有限，这里以图片的形式给大家展示一小部分。

[外链图片转存中…(img-IDIZgkAO-1711859113382)]

网上学习 Android的资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

本文已被CODING开源项目：《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》收录