音视频入门系列-图像篇（H.264）

H.264作为现在应用比较广泛的视频编码格式标准，本文笔者介绍下H.264相关知识。

1.什么是H.264
H.264是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。

2.H.264的数据格式是怎样的？
H.264由视频编码层（VCL）和网络适配层（NAL）组成。
◆ VCL：H264编码/压缩的核心，主要负责将视频数据编码/压缩，再切分。
◆ NALU = NALU header + NALU payload

3.VCL是如何管理H264视频数据？
◆ 压缩：预测（帧内预测和帧间预测）-> DCT变化和量化 -> 比特流编码；
◆ 切分数据，主要为了第三步。"切片(slice)"、“宏块(macroblock)"是在VCL中的概念，一方面提高编码效率和降低误码率、另一方面提高网络传输的灵活性。
◆ 包装成『NAL』。
◆ 『VCL』最后会被包装成『NAL』

4.NAL头的数据结构体

 ◆ F（forbidden_zero_bit）：1 位，初始为0。当网络识别此单元存在比特错误时，可将其设为 1，以便接收方丢掉该单元
◆ NRI（nal_ref_idc）：2 位，用来指示该NALU 的重要性等级。值越大，表示当前NALU越重要。具体大于0 时取何值，没有明确规定
◆ Type（nal_unit_type）：5 位，指出NALU 的类型，如下所示： 

 5.H.264码流结构
◆ H.264 = start_code + NALU（start_code：00000001 or 000001）

◆ 每个NAL前有一个起始码 0x00 00 01（或者0x00 00 00 01），解码器检测每个起始码，作为一个NAL的起始标识，当检测到下一个起始码时，当前NAL结束。
◆ 同时H.264规定，当检测到0x000000时，也可以表征当前NAL的结束。那么NAL中数据出现0x000001或0x000000时怎么办？H.264引入了防止竞争机制，如果编码器检测到NAL数据存在0x000001或0x000000时，编码器会在最后个字节前插入一个新的字节0x03，这样：
0x000000－>0x00000300
0x000001－>0x00000301
0x000002－>0x00000302
0x000003－>0x00000303 

6.I帧、P帧和B帧
提到H.264，不得不提I帧、P帧、B帧、IDR帧、GOP。
◆ I帧（Intra-coded picture，帧内编码图像帧），表示关键帧，采用类似JPEG压缩的DCT(Discrete Cosine Transform，离散余弦变换)压缩技术，可达1/6压缩比而无明显压缩痕迹；
◆ P帧（Predictive-coded picture，前向预测编码图像帧），表示的是跟之前的一个关键帧或P帧的差别，P帧是参考帧，它可能造成解码错误的扩散；
◆ B帧（Bidirectionally predicted picture，双向预测编码图像帧），本帧与前后帧（I或P帧）的差别，B帧压缩率高，但解码耗费CPU；
◆ IDR帧（Instantaneous Decoding Refresh，即时解码刷新）：首个I帧，是立刻刷新,使错误不致传播，IDR导致DPB（DecodedPictureBuffer参考帧列表——这是关键所在）清空；在IDR帧之后的所有帧都不能引用任何IDR帧之前的帧的内容；IDR具有随机访问的能力，播放器可以从一个IDR帧播放。
◆ GOP（Group Of Picture，图像序列）：两个I帧之间是一个图像序列，一个GOP包含一个I帧

7.解码时间戳和显示时间戳
当然，H.264中还有两个重要的概念：DTS和PTS
◆ DTS（Decoding Time Stamp，解码时间戳解）：读入内存中的比特流在什么时候开始送入解码器中进行解码
◆ PTS（Presentation Time Stamp，显示时间戳）：解码后的视频帧什么时候被显示出来

音视频入门系列文章已同步在微信公众号（可扫下方二维码关注）：八小时码字员

音视频入门系列，同步录制了学习视频，已上传至bilibili（八小时码字员）：音视频入门系列（图像、音频、字幕、视频封装格式，FFmpeg、ffplay源码分析，解码、编码、转码，流媒体协议，服务器部署）_哔哩哔哩_bilibili

音视频学习交流QQ群：693316541