Android音视频开发——编码实践

最新推荐文章于 2024-09-13 09:56:59 发布

程序员老舅

最新推荐文章于 2024-09-13 09:56:59 发布

阅读量479

点赞数

分类专栏：音视频开发进阶文章标签： android 音视频实时音视频视频编解码 webrtc

本文链接：https://blog.csdn.net/m0_60259116/article/details/126559055

版权

音视频开发进阶专栏收录该内容

715 篇文章 538 订阅

订阅专栏

一、Android Camera API

1.1 图像采集

构建预览布局——使用SurfaceView或者TextureView

打开相机 ——Camera.open

设置参数——Camera.Parameters

设置预览数据回调——PreviewCallback

设置预览画布并启动——setPreviewTexture/startPreview

释放相机——stopPreview/release

二、MediaCodec 实践

2.1 MediaCodec (虽然常说是硬编码，其实也可以软编码)

MediaCodec类可用于访问Android底层的多媒体编解码器，例如，编码器/解码器组件。它是Android底层多媒体支持基础架构的一部分。

Android底层多媒体模块采用的是OpenMax框架，任何Android底层编解码模块的实现，都必须遵循OpenMax标准。Google官方默认提供了一系列的软件编解码器，而硬件编解码功能，则需要由芯片厂商依照OpenMax框架标准来完成，所以，一般采用不同芯片型号的手机，硬件编解码的实现和性能是不同的。

本文福利，免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

2.2 MediaCodec 流程

配置编码参数（MediaFormat.setInteger()）：码率：数据传输单位时间传送的数据位数，1kbps即每秒有1000位数据；帧率：图像每秒的个数；关键帧间隔：两个I之间的间隔；色彩空间：yuv和rgb，等等。
创建编码器（MediaCodec）：
创建混合器（MediaMuxer）：把声音与图像压缩数据放入MP4盒子
开始编码：

MediaCodec详细的流程：

1.Client从Codec拿到input缓冲区队列[getInputBuffers]
2.Client从input队列中申请一个empty buffer[dequeueInputBuffer]
3.Client将需要编解码的数据拷贝到empty buffer，然后将其放入input队列[queueInputBuffer]
4.Codec从input缓冲区取出一个buffer(一帧)数据，对其进行编解码处理
5.编解码处理结束后，Codec将原始数据的buffer置为empty后放入input缓冲区队列，并将编解码后的数据放到output缓冲区队列

//Client和Codec模块是并行工作的

6.Client从Codec拿到output缓冲区队列[getOutputBuffers]
7.Client从output队列申请一个有编解码数据的buffer[dequeueOutputBuffer]
8.Client对编解码的数据进行渲染/播放
9.渲染/播放完成后，Client再将这个buffer放回output缓冲区队列[releaseOutputBuffer]

MediCodec在架构上采用的是一种基于环形缓冲区的生产者-消费者设计模式

2.3 MediaCodec 编码

过程类似一个生产者-消费者模式。

从input队列当中添加YUN格式数据，从output队列中获取H.264格式数据。(因为目前使用的是混合器MediaMuxer)

大致说一下编码的流程：

（1）input队列

使用MediaCodec.dequeueInputBuffer(timeoutUS)；获取input队列的一个下标，然后通过MediaCodec.getInputBuffer(index)下标获取一个ByteBuffer的一个容器。

清空容器(clear)，然后将byte[]数据put到容器当中。

当数据填充好后，将这个下标通知给MediaCodec加入队列。

（2）output队列（在一个循环中，方便写入数据就可以输出）

使用dequeueOutputBuffer获取输出缓冲区的一个int状态值，并且传入一个MediaCodec.BufferInfo（每缓冲器元数据包括指定相关编解码器缓冲器中有效数据范围的偏移量和大小。）和timeoutUS

用MediaMuxer.addTract(MediaFormat)配置编码参数，并返回一个int下标，并start混合器。

根据BufferInfo设置输出缓冲区从哪里开始读，长度，写出格式

返回的int状态值有必要好好说一下：

假如input队列的数据没有加载好，就会返回一个MedioCodec.INFO_TRY_AGAIN_LATER，此时我们break就行了，稍后重试。
MedioCodec.INFO_OUTPUT_FORMAT_CHANGED，表示的是输出格式发生变化，也就是我们最开始配置的编码参数发生了变化。当我们第一次dequeueOutputBuffer，总会回调一次这个，所以在这里开启混合器（获取MedioCodec的MedioFormat编码参数，传给MediaMuxer）。