IOS系统中H.264视频流如何实现硬件解码

最新推荐文章于 2024-05-21 20:31:33 发布

程序员老舅

最新推荐文章于 2024-05-21 20:31:33 发布

阅读量372

点赞数

分类专栏：音视频开发进阶文章标签： h.264 ffmpeg 音视频开发音视频 C++音视频音视频编解码视频压缩编码

本文链接：https://blog.csdn.net/m0_60259116/article/details/131836018

版权

722 篇文章 503 订阅

订阅专栏

通过使用VideoToolbox来实现H.264视频流的硬件解码的步骤：1、创建 VTDecompressionSessionRef 对象；2、使用 VTDecompressionSessionRef 进行解码；3、销毁 VTDecompressionSessionRef 对象。

1、创建 VTDecompressionSessionRef 对象

首先需要创建decompression session,通过调用 VTDecompressionSessionCreate 来创建。

本文福利，免费领取C++音视频学习资料包、技术视频/代码，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，编解码，推拉流，srs）↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓

VTDecompressionSessionCreate 的定义如下:

allocator 是decompression session的分配器，如果没有特殊要求，传入 NULL即可，session会使用默认的分配器.
videoFormatDescription 是用来描述视频格式信息的对象, 如果是H.264解码的话，跟Android的MediaCodec一样需要先得到h264的sps和pps信息, 再根据sps和pps来创建对应的视频格式描述对象. 伪代码如下:

videoDecoderSpecification: 用来指定所需要创建的解码器，通常可以传入NULL, 让系统根据视频格式描述来自动选择创建合适的解码器.
destinationImageBufferAttributes: 用来指定解码输出的像素格式，视频宽度，高度等信息，通常为了性能最优起见，像素格式应选择YUV420的格式, 如: kCVPixelFormatType_420YpCbCr8Planar 等
outputCallback: 解码输出的回调, 它是一个结构体, 定义如下:

decompressionOutputCallback 就是回调函数, decompression session解码输出是通过这个回调异步输出的。

强调：当解码器不是工作在同步模式时，这里的异步输出线程是从系统的线程池中获取空闲线程作为回调线程的，所以开发者不能假定这个回调来自同一线程.

decompressionOutputRefCon 是开发者自定义的对象， decompression session会把这个指针作为回调函数的第一个参数回传给开发者.

解码的函数定义如下:

session 就是decompression session
sampleBuffer 是输入解码的数据，这里需要注意的是, 虽然H264 NAL是标准所定义的H264解码器能处理的最小解码单元，但是apple的这个硬件解码器是不行的，ios的硬件解码器只能输入完整的一帧数据，这就意味，当要解码的H264是以 multi-slice方式编码的话，需要将一帧的多个slice组合成一个frame再提交给解码器,而且组合的frame中slice的边界不是H.264标准Annex B所定义的 nal start code 这种，这里采用了AVCC 格式.
decodeFlag: 解码器的一些可设置的工作模式.
sourceFrameRefCon: 开发者定义的参考帧，可以传入 NULL.
infoFlagsOut: 解码的状态，可以根据需要决定是否要监视这些状态.伪代码如下：