H.264 视频编码器 变换编码分析

H.264 视频编码器 变换编码分析

一. 变换编码分为两部分：变换，量化，以及在之后的重建环路中对应的反量化和反变换。

接下来对各部分进行分析

二. 变换

根据残差数据的类型不同，H264 High Profile中会使用到4种不同的变换：

1. 采用 Intra4x4 预测模式和 Intra16x16 预测模式得到的亮度分量预测残差，使用4x4离散余弦变换（DCT）；
2. 采用 Intra8x8 预测模式得到的亮度分量预测残差使用8x8离散余弦变换（DCT）；
3. 采用 Inter 预测模式得到的亮度分量预测残差，如果预测模式块大小，小于等于8x8，则使用4x4离散余弦变换，否则编码器要在4x4和8x8离散余弦变换之间进行选择。
4. 色度分量的预测残差全部使用4x4离散余弦变换。
5. 其中，4x4哈达玛变换用于 Intra16x16 预测残差直流分量的二次变换；2x2哈达玛变换用于色度分量直流系数的二次变换

三. 原始数学原理：DCT变换原理

DCT变换是一种正交变换，因为具有良好的去相关性和压缩效果，并且有快速算法可以实现，因此在图像编码中被广泛使用。

但是由于变换矩阵C的变换系数中存在无理数，在编解码的计算过程中计算结果会带来误差，反变换和变换之前的结果会不一样带来误差。

在H. 264编码标准中，进行了整数变换的操作，并且可以不使用乘法操作，其中的一部分变换计算合并到量化过程中去。