if (outputBufferId >= 0) {
ByteBuffer outputBuffer = codec.getOutputBuffer(outputBufferId);
MediaFormat bufferFormat = codec.getOutputFormat(outputBufferId); // option A
// bufferFormat is identical to outputFormat
// outputBuffer is ready to be processed or rendered.
…
codec.releaseOutputBuffer(outputBufferId, …);
} else if (outputBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
// Subsequent data will conform to new format.
// Can ignore if using getOutputFormat(outputBufferId)
outputFormat = codec.getOutputFormat(); // option B
}
}
// 调用 stop 方法进入 Uninitialized 状态
codec.stop();
// 调用 release 方法释放,结束操作
codec.release();
MediaFormat 设置
首先需要创建并设置好 MediaFormat 对象,它表示媒体数据格式的相关信息,对于视频主要有以下信息要设置:
-
颜色格式
-
码率
-
码率控制模式
-
帧率
-
I 帧间隔
其中,码率就是指单位传输时间传送的数据位数,一般用 kbps
即千位每秒来表示。而帧率就是指每秒显示的帧数。
其实对于码率有三种模式可以控制:
-
BITRATE_MODE_CQ
-
表示不控制码率,尽最大可能保证图像质量
-
BITRATE_MODE_VBR
-
表示 MediaCodec 会根据图像内容的复杂度来动态调整输出码率,图像负责则码率高,图像简单则码率低
-
BITRATE_MODE_CBR
-
表示 MediaCodec 会把输出的码率控制为设定的大小
对于颜色格式,由于是将 YUV 数据编码成 H264,而 YUV 格式又有很多,这又涉及到机型兼容性问题。在对相机编码时要做好格式的处理,比如相机使用的是 NV21
格式,MediaFormat 使用的是 COLOR_FormatYUV420SemiPlanar
,也就是 NV12
模式,那么就得做一个转换,把 NV21
转换到 NV12
。
对于 I 帧间隔,也就是隔多久出现一个 H264 编码中的 I 帧。
完整 MediaFormat 设置示例:
MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar);
// 马率
mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, width * height * 5);
// 调整码率的控流模式
mediaFormat.setInteger(MediaFormat.KEY_BITRATE_MODE, MediaCodecInfo.EncoderCapabilities.BITRATE_MODE_VBR);
// 设置帧率
mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
// 设置 I 帧间隔
mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);
当开始编解码操作时,开启编解码线程,处理相机预览返回的 YUV 数据。
在这里用到了相机的一个封装库:
https://github.com/glumes/EzCameraKit
编解码操作
编解码操作代码如下:
while (isEncoding) {
// YUV 颜色格式转换
if (!mEncodeDataQueue.isEmpty()) {
input = mEncodeDataQueue.poll();
byte[] yuv420sp = new byte[mWidth * mHeight * 3 / 2];
NV21ToNV12(input, yuv420sp, mWidth, mHeight);
input = yuv420sp;
}
if (input != null) {
try {
// 从输入缓冲区队列中拿到可用缓冲区,填充数据,再入队
ByteBuffer[] inputBuffers = mMediaCodec.getInputBuffers();
ByteBuffer[] outputBuffers = mMediaCodec.getOutputBuffers();
int inputBufferIndex = mMediaCodec.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0) {
// 计算时间戳
pts = computePresentationTime(generateIndex);
ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(input);
mMediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, pts, 0);
generateIndex += 1;
}
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
int outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
// 从输出缓冲区队列中拿到编码好的内容,对内容进行相应处理后在释放
while (outputBufferIndex >= 0) {
ByteBuffer outputBuffer = outputBuffers[outputBufferIndex];
byte[] outData = new byte[bufferInfo.size];
outputBuffer.get(outData);
// flags 利用位操作,定义的 flag 都是 2 的倍数
if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) { // 配置相关的内容,也就是 SPS,PPS
mOutputStream.write(outData, 0, outData.length);
} else if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_KEY_FRAME) != 0) { // 关键帧
mOutputStream.write(outData, 0, outData.length);
} else {
// 非关键帧和SPS、PPS,直接写入文件,可能是B帧或者P帧
mOutputStream.write(outData, 0, outData.length);
}
mMediaCodec.releaseOutputBuffer(outputBufferIndex, false);
outputBufferIndex = mMediaCodec.dequeueOutputBuffer(bufferInfo, TIMEOUT_USEC);
}
} catch (IOException e) {
Log.e(TAG, e.getMessage());
}
} else {
try {
Thread.sleep(500);
} catch (InterruptedException e) {
Log.e(TAG, e.getMessage());
}
}
}
首先,要把要把相机的 NV21
格式转换成 NV12
格式,然后 通过 dequeueInputBuffer
方法去从可用的输入缓冲区队列中出队取出缓冲区,填充完数据后再通过 queueInputBuffer
方法入队。
dequeueInputBuffer
返回缓冲区索引,如果索引小于 0 ,则表示当前没有可用的缓冲区。它的参数 timeoutUs
表示超时时间 ,毕竟用的是 MediaCodec 的同步模式,如果没有可用缓冲区,就会阻塞指定参数时间,如果参数为负数,则会一直阻塞下去。
queueInputBuffer
方法将数据入队时,除了要传递出队时的索引值,然后还需要传入当前缓冲区的时间戳 presentationTimeUs
和当前缓冲区的一个标识 flag
。
其中,时间戳通常是缓冲区渲染的时间,而标识则有多种标识,标识当前缓冲区属于那种类型:
-
BUFFER_FLAG_CODEC_CONFIG
-
标识当前缓冲区携带的是编解码器的初始化信息,并不是媒体数据
-
BUFFER_FLAG_END_OF_STREAM
-
结束标识,当前缓冲区是最后一个了,到了流的末尾
-
BUFFER_FLAG_KEY_FRAME
-
表示当前缓冲区是关键帧信息,也就是 I 帧信息
在编码的时候可以计算当前缓冲区的时间戳,也可以直接传递 0 就好了,对于标识也可以直接传递 0 作为参数。
把数据传入给 MediaCodec 之后,通过 dequeueOutputBuffer
方法取出编解码后的数据,除了指定超时时间外,还需要传入 MediaCodec.BufferInfo
对象,这个对象里面有着编码后数据的长度、偏移量以及标识符。
取出 MediaCodec.BufferInfo
内的数据之后,根据不同的标识符进行不同的操作:
-
BUFFER_FLAG_CODEC_CONFIG
-
表示当前数据是一些配置数据,在 H264 编码中就是 SPS 和 PPS 数据,也就是
00 00 00 01 67
和00 00 00 01 68
开头的数据,这个数据是必须要有的,它里面有着视频的宽、高信息。 -
BUFFER_FLAG_KEY_FRAME
-
关键帧数据,对于 I 帧数据,也就是开头是
00 00 00 01 65
的数据, -
BUFFER_FLAG_END_OF_STREAM
-
表示结束,MediaCodec 工作结束
对于返回的 flags ,不符合预定义的标识,则可以直接写入,那些数据可能代表的是 H264 中的 P 帧 或者 B 帧。
对于编解码后的数据,进行操作后,通过 releaseOutputBuffer
方法释放对应的缓冲区,其中第二个参数 render
代表是否要渲染到 surface 上,这里暂时不需要就为 false 。
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip204888 (备注Android)
总结
【Android 详细知识点思维脑图(技能树)】
我个人是做Android开发,已经有十来年了,目前在某创业公司任职CTO兼系统架构师。虽然 Android 没有前几年火热了,已经过去了会四大组件就能找到高薪职位的时代了。这只能说明 Android 中级以下的岗位饱和了,现在高级工程师还是比较缺少的,很多高级职位给的薪资真的特别高(钱多也不一定能找到合适的),所以努力让自己成为高级工程师才是最重要的。
这里附上上述的面试题相关的几十套字节跳动,京东,小米,腾讯、头条、阿里、美团等公司19年的面试题。把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节。
由于篇幅有限,这里以图片的形式给大家展示一小部分。
网上学习 Android的资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。
最后,赠与大家一句话,共勉!
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
东,小米,腾讯、头条、阿里、美团等公司19年的面试题。把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包含知识脉络 + 诸多细节。
由于篇幅有限,这里以图片的形式给大家展示一小部分。
[外链图片转存中…(img-9k7g0gko-1712820235679)]
网上学习 Android的资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。
最后,赠与大家一句话,共勉!
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
[外链图片转存中…(img-LiHdyRrJ-1712820235679)]