openh264 编码器源码分析：AnalyzePictureComplexity 函数

介绍

1. 文件位置：
   • openh264/codec/processing/src/complexityanalysis/ComplexityAnalysis.cpp
2. 功能：
   • 作为CWelsPreProcess类中一个方法，用来分析当前图像与参考图像之间的复杂度关系，以便编码策略。
3. 原型：

void CWelsPreProcess::AnalyzePictureComplexity (sWelsEncCtx* pCtx, SPicture* pCurPicture, SPicture* pRefPicture,
    const int32_t kiDependencyId, const bool bCalculateBGD)

4. 参数：
   • sWelsEncCtx* pCtx：指向sWelsEncCtx结构的指针，这通常是一个上下文结构，包含了编码过程中所需的状态信息。
   • SPicture* pCurPicture：指向当前待编码图片的指针。
   • SPicture* pRefPicture：指向参考图片的指针，用于与当前图片进行比较。
   • const int32_t kiDependencyId：一个整数常量，表示依赖层的ID，可能用于确定当前图片所属的编码层。
   • const bool bCalculateBGD：一个布尔值常量，指示是否需要计算背景差分（Background Difference）。

函数关系图

原理

桌面图像

1. process 函数

• 如果是IDR帧或参考图像为空，则调用GomComplexityAnalysisIntra函数执行内部复杂度分析；
• 如果滚动标志为假或滚动偏移量在X和Y方向上都为0，则调用GomComplexityAnalysisInter函数执行无滚动的交互复杂度分析；
• 调用GomComplexityAnalysisInter函数执行有滚动的交互复杂度分析；

2. GomComplexityAnalysisIntra函数

• 变量初始化；
• 嵌套循环分析每个宏块；
  - 检查是否有可用的垂直或水平参考宏块，如果有，则使用相应的预测函数m_pIntraFunc和SAD计算函数m_pSadFunc来计算SAD值iBlockSadH、iBlockSadV；
  • 如果垂直或水平参考宏块存在，则累加中iBlockSadH、iBlockSadV的最小值到iGomSad中；
    • 如果当前宏块是一行中的最后一个宏块，或者已经到达了宏块组的底部，将iGomSad的值存储到类成员变量m_ComplexityAnalysisParam.pGomComplexity中，并更新帧复杂度m_ComplexityAnalysisParam.iFrameComplexity；
    • 更新索引iIdx，将变量iGomSad置 0，为下一个宏块组的复杂度值做准备；
    • 在处理完一行的所有宏块后，更新指针pPtrY到下一行的开始位置；
• 更新类成员变量m_ComplexityAnalysisParam.iGomNumInFrame，表示帧中宏块组的数量；

3. GomComplexityAnalysisInter函数

• 变量初始化；
• 嵌套 for 循环分析每个宏块；
  • 首先调用m_pSadFunc函数计算当前块的SAD值iInterSad；
  • 如果bScrollFlag为真，并且当前块的SAD值不为0，且滚动偏移量在有效范围内，则调用m_pSadFunc函数计算考虑滚动后的SAD值iScrollSad，并取两者的较小值作为当前块的SAD值iInterSad；
  • 如果当前宏块不是第一行或第一列的宏块，使用类成员预测函数m_pIntraFunc和m_pSadFunc计算水平和垂直预测的SAD值iBlockSadH、iBlockSadV；
  • 选择iBlockSadH、iBlockSadV、iInterSad中最小值最为总体 SAD 值iGomSad；
  • 果当前宏块是一行中的最后一个宏块，或者已经到达了宏块组的底部，将iGomSad的值存储到类成员变量m_ComplexityAnalysisParam.pGomComplexity中，并更新帧复杂度m_ComplexityAnalysisParam.iFrameComplexity；
  • 更新索引iIdx，将变量iGomSad置 0，为下一个宏块组的复杂度值做准备；
  • 在处理完一行的所有宏块后，更新指针pPtrY到下一行的开始位置；
• 更新类成员变量m_ComplexityAnalysisParam.iGomNumInFrame，表示帧中宏块组的数量；

4. m_pSadFunc函数

• 指向WelsSampleSad16x16_c函数

5. m_pIntraFunc[0]函数

• 指向WelsI16x16LumaPredV_c函数

6. m_pIntraFunc[1]函数

• 指向WelsI16x16LumaPredH_c函数

摄像镜头图像

1. process 函数

• iComplexityAnalysisMode等于FRAME_SAD时，调用AnalyzeFrameComplexityViaSad函数分析图像复杂度；
• iComplexityAnalysisMode等于GOM_SAD时，调用AnalyzeGomComplexityViaSad函数分析图像复杂度；
• iComplexityAnalysisMode等于GOM_VAR时，调用AnalyzeGomComplexityViaVar函数分析图像复杂度；

2. AnalyzeFrameComplexityViaSad函数

• 将pCalcResult赋值给pVaaCalcResults；
• 将pVaaCalcResults中的iFrameSad赋值给m_sComplexityAnalysisParam.iFrameComplexity，作为当前帧的复杂度；
• 如果iCalcBgd，即有背景检测，则调用GetFrameSadExcludeBackground函数计算复杂度，赋值给m_sComplexityAnalysisParam.iFrameComplexity，作为当前帧的复杂度；

• GetFrameSadExcludeBackground函数：这个函数的目的是计算帧的SAD值，但在计算时排除了背景区域的宏块，这有助于更准确地评估帧中实际的前景复杂度。
  • 初始化变量，计算宏块组iMbNumInGom和宏块数iGomMbNum；
  • m_sComplexityAnalysisParam.pCalcResult赋值给pVaaCalcResults；
  • 双层嵌套 for 循环遍历所有宏块，
    • 如果宏块不是背景宏块，增加对应宏块组的前景宏块数量，并累加该宏块的四个8x8块的SAD值到uiFrameSad；
  • 返回 uiFrameSad值；

3. AnalyzeGomComplexityViaSad函数

• 初始化变量，计算宏块组iMbNumInGom和宏块数iGomMbNum；
• 调用InitGomSadFunc函数初始化SAD计算函数（m_pfGomSad），并为每个GOB分配一个SAD变量（uiGomSad）
• 嵌套双层循环处理每个宏块，
  • 对当前GOB的每一行进行循环，计算SAD；
  • 调用m_pfGomSad函数来累加当前宏块的SAD值uiGomSad；
  • 将计算得到的SAD值uiGomSad存储到pGomComplexity数组中；
  • 更新整个帧的SAD值（uiFrameSad）；
• 将帧的SAD值uiFrameSad存储在m_sComplexityAnalysisParam结构体中。

4. AnalyzeGomComplexityViaVar函数

• 初始化变量，计算宏块组iMbNumInGom和宏块数iGomMbNum；
• 初始化样本和平方和变量（uiSampleSum和uiSquareSum）；
• 双层嵌套循环遍历每一个宏块；
  • 对当前GOB的每一行进行循环，累加样本和uiSampleSum和平方和uiSquareSum；
  • 计算宏块组方差，将结果存到pGomComplexity中；
  • 累加pGomComplexity到帧的 SAD 值uiFrameSad；
• 将帧的SAD值uiFrameSad存储在m_sComplexityAnalysisParam结构体中。

源码

• 略。