一、率失真优化(RDO)的目的
选择一个最小失真的编码模式可以带来最好的视频质量, 然而这往往需要很高的编码比特率。如何在有限的编码比特数下,选择一个失真最小的模式是编码中的关键问题。对于给定编码单元,上述求极值问题可将其转化为:在给定码率的情况下,尽可能降低失真D。这也即是 RDO 的目的,率失真代价函数表述如下:
{
Para}opt=arg min{
Para}(D+λ•R)
其中,R 和D 分别表示编码所消耗的比特数码率以及失真程度,{
Para}opt表示最佳的编码参数集,包括模式选择、运动估计以及QP等,λ 为拉格朗日乘子。
二、HEVC中率失真优化方法
HM 采用拉格朗日优化方法为每个编码树单元CTU确定除编码参数QP之外的所有编码参数,主要包括CU划分模式、CU中PU和TU的划分、PU预测等等。每个CTU采用分级方式确定不同层的编码参数,步骤如下:
1. 首先,遍历所有CU,按如下公式对CU(CU从64x64到8x8)进行划分模式进行编码;
min J J=D(Mode)+ λ(Mode)•R(Mode)
2. 然后,在CTU中遍历所有PU(PU是预测的基本单元)模式和TU(TU是变换的基本单元,TU遍历的最小尺寸为4x4)的
组合,选择率失真代价值最小的确定为最优模式;
3. 不论帧内还是帧间,都会存在PU的预测,对PU的预测模式也是遍历所有的预测模式,分别计算每个模式对应的率失真代价值,选取最小的率失真代价值对应的预测模式为最优模式;
三、HEVC参考模型HM中初始QP和拉格朗日乘子初始化
在RDO中拉格朗日乘子作为率失真代价函数计算的关键参数,每帧的初始拉格朗日乘子会根据Slice的类型和在GOP中的位置,根据下式中每帧的初始QP确定对应的拉格朗日乘子:
模式选择过程对应拉格朗日乘子:
λ(Mode)=αW**pow(2,(QP-12)/3.0)
运动估计过程对应拉格朗日乘子:
λ(Motion)=pow(λ(Mode),1/2.0)
W为加权因子,I帧为0.57。根据当前Slice是否最为参考图像,Nb为GOP中B帧的个数(发现LDP配置中P帧在HM中也算作B帧),如果为非参考图像α为1,如果为非参考帧时:
α= 1.0 - Clip3(0.0,0.5,0.05*Nb)
HM在编码GOP之前会对每个Slice的拉格朗日乘子作初始化,并在compressGOP函数中的initEncSlice实现初始化
m_pcSliceEncoder->initEncSlice ( pcPic, iPOCLast, pocCurr, iGOPid, pcSlice, isField );
如果开启多QP优化,会对每个遍历的QP初始lambda,我用的HM版本为HM 16.9,不过不同版本的对应函数应该没有太大变化
// pre-compute lambda and QP values for all possible QP candidates
for ( Int iDQpIdx = 0; iDQpIdx < 2 * m_pcCfg->getDeltaQpRD() + 1; iDQpIdx++ )
{
// compute QP value
dQP <