本文详细介绍了iOS系统中如何利用Video Toolbox框架进行H264视频的硬件编解码。硬件解码包括从H264码流中提取关键信息构建CMSampleBuffer，通过AVSampleBufferDisplayLayer或VTDecompression接口实现解码显示。硬件编码则涉及摄像头图像采集、VTCompressionSession的初始化和编码过程，编码后的数据转化为H264码流进行传输。
一般系统都会提供GPU或者专用处理器来对视频流进行编解码，也就是硬件编码和解码，简称为硬编解码。苹果在iOS 8.0系统之前，没有开放系统的硬件编码解码功能，不过Mac OS系统一直有，被称为Video ToolBox的框架来处理硬件的编码和解码，终于在iOS 8.0后，苹果将该框架引入iOS系统。
由此，开发者便可以在iOS里面，调用Video Toolbox框架提供的接口，来对视频进行硬件编解码的工作，为VOIP视频通话，视频流播放等应用的视频编解码提供了便利。
（PS：按照苹果WWDC2014 513《direct access to media encoding and decoding》的描述，苹果之前提供的AVFoundation框架也使用硬件对视频进行硬编码和解码，但是编码后直接写入文件，解码后直接显示。Video Toolbox框架可以得到编码后的帧结构，也可以得到解码后的原始图像，因此具有更大的灵活性做一些视频图像处理。）
一，VideoToolbox基本数据结构。
Video Toolbox视频编解码前后需要应用的数据结构进行说明。
（1）CVPixelBuffer：编码前和解码后的图像数据结构。
（2）CMTime、CMClock和CMTimebase：时间戳相关。时间以64-bit/32-bit的形式出现。
（3）CMBlockBuffer：编码后，结果图像的数据结构。
（4）CMVideoFormatDescription：图像存储方式，编解码器等格式描述。
（5）
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
