H.266/VVC变换代码学习：transformNxN函数

最新推荐文章于 2021-08-24 21:12:59 发布
最新推荐文章于 2021-08-24 21:12:59 发布
阅读量1.7k 收藏 8
点赞数 4
分类专栏： VVC/H.266 文章标签： H.266/VVC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BigDream123/article/details/102748428
版权

H.266/VVC中有两个transformNxN函数，它们的参数不同，如下：

void transformNxN     ( TransformUnit& tu, const ComponentID& compID, const QpParam& cQP, std::vector<TrMode>* trModes, const int maxCand );

void transformNxN     ( TransformUnit& tu, const ComponentID& compID, const QpParam& cQP, TCoeff& uiAbsSum, const Ctx& ctx, const bool loadTr = false );

1.transformNxN函数（1）

第一个transformNxN()函数主要是通过比较DCT-2变换和TransformSkip的SAD来决定修改trModes对应模式是否使用。

注意：在LFNST关闭的情况下，对于亮度块，这个函数会比较DCT-2 TS MTS四种变换核的SAD来修改trModes对应模式。

VTM7.0中加入了色度模式下的TransformSkip模式，也随之多了色度下DCT-2和TransformSkip的比较。

每次进行变换时，都会将变换后的系数保存到m_mtsCoeffs变量里，用于之后第二个transfromNxN函数进行加载。

总共五种模式：

enum MTSIdx
{
  MTS_DCT2_DCT2 = 0,
  MTS_SKIP = 1,
  MTS_DST7_DST7 = 2,
  MTS_DCT8_DST7 = 3,
  MTS_DST7_DCT8 = 4,
  MTS_DCT8_DCT8 = 5
};

代码如下： 

/*
通过比较DCT-2的SAD和TransformSkip的SAD决定是否使用TransFormSkip,只有尺寸小于等于32才调用
trModes数组存有多核变换的索引MTSIdx和能否进行参与后续比较(int,bool)，经过本函数后修改MTSIdx对应的bool值
*/
void TrQuant::transformNxN( TransformUnit& tu, const ComponentID& compID, const QpParam& cQP, std::vector<TrMode>* trModes, const int maxCand )
{
        CodingStructure &cs = *tu.cs;
  const CompArea &rect      = tu.blocks[compID];
  const uint32_t width      = rect.width;
  const uint32_t height     = rect.height;

  const CPelBuf  resiBuf    = cs.getResiBuf(rect);

  CHECK( cs.sps->getMaxTbSize() < width, "Unsupported transformation size" );

  int pos = 0;//表示trCost的第二个值，应该表示MTSIdx
  std::vector<TrCost> trCosts;//trCosts：第一个值为SAD的值，第二个值为bool值
  std::vector<TrMode>::iterator it = trModes->begin();//it有两个值，一个代表多核变换的模式号，一个是bool值表示是否参与后续比较
  const double facBB[] = { 1.2, 1.3, 1.3, 1.4, 1.5 };//一个系数值，含义？
  while( it != trModes->end() )
  { //遍历trModes，获得每一个多核变换模式对应的cost
#if JVET_P0058_CHROMA_TS
    tu.mtsIdx[compID] = it->first;
#else
    tu.mtsIdx = it->first;
#endif
#if JVET_P0058_CHROMA_TS
    CoeffBuf tempCoeff( m_mtsCoeffs[tu.mtsIdx[compID]], rect);//获取MTS对应系数
#else
    CoeffBuf tempCoeff( m_mtsCoeffs[tu.mtsIdx], rect );
#endif
    if( tu.noResidual )//如果没有残差，跳过
    {
      int sumAbs = 0;
      trCosts.push_back( TrCost( sumAbs, pos++ ) );
      it++;
      continue;
    }

#if JVET_P0058_CHROMA_TS
    if ( tu.mtsIdx[compID] == MTS_SKIP )//TransformSkip模式：变换跳过模式
#else
#if JVET_P0059_CHROMA_BDPCM
    if ((isLuma(compID) && tu.mtsIdx == MTS_SKIP) || (isChroma(compID) && tu.cu->bdpcmModeChroma))
#else
    if( isLuma(compID) && tu.mtsIdx == MTS_SKIP )
#endif
#endif
    {
      xTransformSkip( tu, compID, resiBuf, tempCoeff.buf );
    }
    else//Transform模式：正常变换
    {
      xT( tu, compID, resiBuf, tempCoeff, width, height );
    }

    int sumAbs = 0;//绝对误差和：SAD
    for( int pos = 0; pos < width*height; pos++ )
    {
      //这里的pos是局部变量，表示的是每一个块里面的每一个像素值，和外部pos意义不同
      sumAbs += abs( tempCoeff.buf[pos] );
    }

    double scaleSAD=1.0;
#if JVET_P0058_CHROMA_TS
    if ( tu.mtsIdx[compID] == MTS_SKIP && ((floorLog2(width) + floorLog2(height)) & 1) == 1)
#else
    if (isLuma(compID) && tu.mtsIdx==MTS_SKIP && ((floorLog2(width) + floorLog2(height)) & 1) == 1 )
#endif
    {
      scaleSAD=1.0/1.414213562; // //补偿系数 compensate for not scaling transform skip coefficients by 1/sqrt(2)
    }
#if JVET_P1000_REMOVE_TRANFORMSHIFT_IN_TS_MODE
#if JVET_P0058_CHROMA_TS
    if (tu.mtsIdx[compID] == MTS_SKIP)
#else
    if (isLuma(compID) && tu.mtsIdx == MTS_SKIP)
#endif
    {
        int trShift = getTransformShift(tu.cu->slice->getSPS()->getBitDepth(toChannelType(compID)), rect.size(), tu.cu->slice->getSPS()->getMaxLog2TrDynamicRange(toChannelType(compID)));
        scaleSAD *= pow(2, trShift);
    }
#endif

    trCosts.push_back( TrCost( int(sumAbs*scaleSAD), pos++ ) );
    it++;
  }

  int numTests = 0;
  std::vector<TrCost>::iterator itC = trCosts.begin();
#if JVET_P0058_CHROMA_TS
  const double fac   = facBB[std::max(0, floorLog2(std::max(width, height)) - 2)];
#else
  const double fac   = facBB[floorLog2(std::max(width, height))-2];
#endif
  const double thr   = fac * trCosts.begin()->first;//第一个SAD，带系数的（系数thr用于简化，是一种快速算法）,用于其他MTS模式比较时
  const double thrTS = trCosts.begin()->first;//第一个SAD，用于TransformSkip时比较
  while( itC != trCosts.end() )//遍历变换代价值
  {
    const bool testTr = itC->first <= ( itC->second == 1 ? thrTS : thr ) && numTests <= maxCand;
    trModes->at( itC->second ).second = testTr;//修改MTS模式对应的bool值
    numTests += testTr;
    itC++;
  }
}

2.transformNxN函数（2）

第二个transformNxN()函数主要是进行对残差块进行变换。

流程如下：

  1. RDPCM ？？？
  2. 若RDPCM模式不是关闭状态且当前块是亮度块，则设置mtsIdx = MTS_Skip,否则执行3
  3. 若RDPCM模式为关闭状态，检查是否为Trans-quant-Bypass模式，若是则跳过变换和量化，否则执行4
  4. 若当前块是亮度块且mtsIdx=MTS_Skip，则执行xTransformSkip()函数，否则执行xT()函数进行主变换
  5. 判断是否使用二次变换，若使用二次变换，则调用xFwdLfnst()函数
  6. 调用xQuant函数进行量化。

注意，这里函数中的参数LoadTr变量，主要是用于防止进行重复的一次变换。

loadTr是在xRecurIntraCodingLumaQT函数和xRecurIntraChromaCodingQT函数传递给xIntraCodingTUBlock函数的参数。若当前待检查的变换模式数目大于1的时候，loadTr参数为True，此时xIntraCodingTUBlock函数里会调用第一个TransformNxN函数进行变换并将一次变换系数保存在m_mtsCoeffs变量里，当调用第二个transformNxN函数时，若loadTr为true，说明已经进行过一次变换，则可直接加载出来。

#if JVET_O0502_ISP_CLEANUP
void TrQuant::transformNxN( TransformUnit& tu, const ComponentID& compID, const QpParam& cQP, TCoeff& uiAbsSum, const Ctx& ctx, const bool loadTr )
#else
void TrQuant::transformNxN( TransformUnit &tu, const ComponentID &compID, const QpParam &cQP, TCoeff &uiAbsSum, const Ctx &ctx, const bool loadTr, double* diagRatio, double* horVerRatio )
#endif
{
        CodingStructure &cs = *tu.cs;
  const SPS &sps            = *cs.sps;
  const CompArea &rect      = tu.blocks[compID];
  const uint32_t uiWidth        = rect.width;
  const uint32_t uiHeight       = rect.height;

  const CPelBuf resiBuf     = cs.getResiBuf(rect);
        CoeffBuf rpcCoeff   = tu.getCoeffs(compID);

  if( tu.noResidual )//如果没有残差，直接设置cbf
  {
    uiAbsSum = 0;//存放残差系数绝对值的和;
    TU::setCbfAtDepth( tu, compID, tu.depth, uiAbsSum > 0 );
    return;
  }

  RDPCMMode rdpcmMode = RDPCM_OFF;//设置RDPCM模式
  rdpcmNxN(tu, compID, cQP, uiAbsSum, rdpcmMode);

  if( tu.cu->bdpcmMode && isLuma(compID) )
  {
    tu.mtsIdx = MTS_SKIP;
  }

  if (rdpcmMode == RDPCM_OFF)
  {
    uiAbsSum = 0;

    // transform and quantize
    if (CU::isLosslessCoded(*tu.cu))//旁路掉变换和量化，即直接把残差系数赋值给rpcCoeff；
    {
      const bool rotateResidual = TU::isNonTransformedResidualRotated( tu, compID );//是否残差旋转

      for( uint32_t y = 0; y < uiHeight; y++ )
      {
        for( uint32_t x = 0; x < uiWidth; x++ )
        {
          const Pel currentSample = resiBuf.at( x, y );

          if( rotateResidual )//存在残差旋转
          {
            rpcCoeff.at( uiWidth - x - 1, uiHeight - y - 1 ) = currentSample;
          }
          else
          {
            rpcCoeff.at( x, y ) = currentSample;
          }

          uiAbsSum += TCoeff( abs( currentSample ) );//计算出SAD的和
        }
      }
    }
    else//没有被旁路，进行变换、量化等操作
    {
#if MAX_TB_SIZE_SIGNALLING
      CHECK( cs.sps->getMaxTbSize() < uiWidth, "Unsupported transformation size" );

#else
      CHECK( MAX_TB_SIZEY < uiWidth, "Unsupported transformation size" );
#endif

      CoeffBuf tempCoeff( loadTr ? m_mtsCoeffs[tu.mtsIdx] : m_plTempCoeff, rect );

      DTRACE_PEL_BUF( D_RESIDUALS, resiBuf, tu, tu.cu->predMode, compID );
	  //loadTr变量用来加载之前保存的变换系数
	  //m_mtsCoeffs变换系数是在另一个TransformNxN函数中保存的系数，仅进行过一次变换
      if( !loadTr )
      {
        if( isLuma(compID) && tu.mtsIdx == MTS_SKIP )
        {
          xTransformSkip( tu, compID, resiBuf, tempCoeff.buf );//变换跳过模式,如果跳过变换，将残差系数经过伸缩和移位后赋值给temCoeff.buff；
        }
        else
        {
          xT( tu, compID, resiBuf, tempCoeff, uiWidth, uiHeight );//正常变换模式，tempCoeff保存经过变换后的残差系数
        }
      }

#if !JVET_O0502_ISP_CLEANUP
      //we do this only with the DCT-II coefficients
      if( isLuma(compID) &&
        !loadTr && tu.mtsIdx == MTS_DCT2_DCT2
        )
      {
        //it gets the distribution of the coefficients energy, which will be useful to discard ISP tests
        //它得到了系数能量的分布，这将有助于抛弃ISP测试
        xGetCoeffEnergy( tu, compID, tempCoeff, diagRatio, horVerRatio );
      }
#endif

      if( sps.getUseLFNST() )//进行二次变换LFNST
      {
        xFwdLfnst( tu, compID, loadTr );
      }

      DTRACE_COEFF_BUF( D_TCOEFF, tempCoeff, tu, tu.cu->predMode, compID );

      xQuant( tu, compID, tempCoeff, uiAbsSum, cQP, ctx );//量化

      DTRACE_COEFF_BUF( D_TCOEFF, tu.getCoeffs( compID ), tu, tu.cu->predMode, compID );
    }
  }

  // set coded block flag (CBF)
  TU::setCbfAtDepth (tu, compID, tu.depth, uiAbsSum > 0);
}

其中xT函数可以参考https://blog.csdn.net/BigDream123/article/details/102748739

xFwdLfnst函数可以参考https://blog.csdn.net/BigDream123/article/details/102748968

xTransformSkip函数可以参考https://blog.csdn.net/BigDream123/article/details/102748968

 

涵小呆
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
最新通用视频编码标准H.266VVC.pdf
11-28
H.266 VVC 标准中文版
H.266/VVC变换量化部分内容总结
BigDream123的博客
11-17 3870
最近大致看完了VTM6.0的帧内编码端的和变换部分相关的代码，这里进行一下简单的总结。 帧内编码端的变换涉及到变换最佳模式的选择，和变换部分相关的代码又比较杂，这里仅仅总结其中一部分代码。 帧内模式选择的入口函数是xCheckRDCostIntra，函数调用框图如图所示： xCheckRDCostIntra函数主要是进行了相应变换块可选变换模式集的遍历，通过并计算RD Cost选出最佳变......
H.266代码学习：transformNxN函数
慢慢积累
03-12 1237
在之前 HEVC代码学习36：transformNxN函数 中对HM中的transformNxN进行了学习，而后又在 H.266代码学习：MDNSST相关代码 中，间接的对JEM中的transformNxN进行了粗略学习。下面将对比HM，来学习一下JEM中的transformNxN。在JEM中，帧内预测在xIntraCodingTUBlock和xIntraCodingTUBlockTM（HM中没有，
HEVC代码学习36：transformNxN函数
慢慢积累
01-15 1870
今天来学习变换相关的函数，帧内帧间最终都会调用transformNxN来进行变换。下面来对transformNxN进行学习。 其工作流程如下： 1.RDPCM，对残差进行PCM处理，利用周围临近残差值预测当前残差。 2.检测是否为Trans-quant-bypass模式，则直接使用RDPCM的残差。否则执行3。 3.Transform skip flag为真，调用xTransformSki
H.266变换编码：高频调零的大尺寸块变换
慢慢积累
01-10 838
在JEM中，使用了更大尺寸的变换块，最高可达128x128，主要针对1080p和4K的更高分辨率视频。通过对宽或高或宽高同时大于阈值的大变换块中的高频变换系数进行调零处理，获取更优的变换性能。 首先来看下变换编码。视频信号中包含着能量上占大部分的直流和低频成分（图像的平坦部分），还有少量的高频成分（图像的细节部分）。变换编码是通过将空间信号的能力集中到频域的一小部分低频系数上，能量小的系数可通过
H.266 编码新旧技术
maryhaocoolcool的博客
06-19 502
VVC变换编码（二）低频不可分离变换LFNST VVC变换编码（三）子块变换( sub-block transform,SBT)
H.266代码学习：MDNSST相关代码初步学习
慢慢积累
01-24 947
之前已经对MDNSST理论知识进行了学习，这里不再赘述，来看代码部分。 http://blog.csdn.net/lin453701006/article/details/79030862MDNSST是在主变换后进行处理，在transformNxN函数中，可以看到，经过xT主变换后会进行NSST变换，这里只分析其中MDNSST相关代码，为了便于阅读，省略其他代码。MDNSST主要流程如下： 1.
VVCSoftware-VTM-VTM-20.0 H.266/VVC 参考软件
04-27
2023年4月更新到20.0版本，安装可以参考压缩包内的readme.md文件
VVC H.266 4K 60FPS 测试片源
03-13
Format/String : VVC Format/Info : Versatile Video Coding CodecID : vvc1 CodecID/Info : Versatile Video Coding Duration/String : 10 秒 0 毫秒 BitRate/String : 10.0 Mb/s BitRate_Maximum/String : ...
最新视频编码标准（H.266）VVC-Draft10版本，预发布版本！
02-24
最新视频编码标准（H.266）VVC-Draft10版本，预发布版本！
VVC H.266 480P 60FPS测试片源
最新发布
03-13
Format/String : VVC Format/Info : Versatile Video Coding CodecID : vvc1 CodecID/Info : Versatile Video Coding Duration/String : 10s 0ms BitRate/String : 1007 Kbps BitRate_Maximum/String : 1320 ...
H.266/VVC帧间预测总结
BigDream123的博客
08-24 8901
一、帧间预测基本原理 帧间预测是利用视频帧与帧之间的相关性，去除视频帧间的时间冗余信息。统计表明，帧间差绝对值超过3的像素平均不到一帧像素的4%，因此，采用高效的帧间编码方式，可以很大程度上提高视频压缩效率。 目前，主流视频编码标准中采用的基于块的帧间编码方式，基本原理是通过运动估计（Motion Estimate）从相邻参考重建帧中寻找和当前块差别最小的参考块，将其重建值作为当前块的预测块。其中参考块到当前块的位移称为运动矢量（Motion Vector），将重建值作为预测值的过程称为运动补偿（Mot
H.266/VVC的编码结构和块划分
BigDream123的博客
02-15 5692
一、将一帧图像划分成CTUs VVC中一帧图像分成许多编码树单元（CTU）。CTU的概念与HEVC的相同。对于一帧具有三通道的图像，CTU由一个N×N的亮度样本块和两个相应的色度样本块组成。图1显示了一个图片被划分为CTU的示例。 在VVC中为了适应4k、8k等视频编码的需要，CTU中的亮度块的最大允许尺寸被指定为128×128（HEVC是64×64），注意亮度变换块的最大尺寸为64×64。 ...
H.266/VVC帧内预测总结
BigDream123的博客
09-04 5128
最近大致看完了帧内预测相关的技术及相关代码，做个总结。 1、初始化帧内预测参数 通过initPredIntraParams函数进行初始化帧内预测参数，代码参考如下： https://blog.csdn.net/BigDream123/article/details/104520821 2、获取参考像素及对参考像素进行滤波 在初始化帧内预测参数后，需要获取进行帧内预测时使用的参考像素，并根据预测模式决定是否对参考像素进行滤波。initIntraPatternChType函数是获取参考像素和对参考像素
H.266/VVC代码学习：帧内预测之角度预测函数(predIntraAng、xPredIntraAng)
BigDream123的博客
02-26 5063
VTM7.0中，帧内预测的角度预测的入口函数为predIntraAng函数，该函数主要是用于进行传统的帧内预测（Planar、DC、角度预测），然后对Planar和DC模式使用PDPC（其余角度模式的PDPC在xPredIntraAng函数中进行） void IntraPrediction::predIntraAng( const ComponentID compId, PelBuf &amp......
H.266/VVC代码学习：普通量化和率失真优化量化(RDOQ)
BigDream123的博客
05-27 5007
H.266/VVC中，使用了普通标量量化、率失真优化量化（RDOQ）和依赖性量化（DQ）。 1、普通标量量化 标量量化公式如下： 其中，表示DCT系数，表示量化步长，f 控制舍入关系为量化后的值，floor()为向下取整函数。 量化补偿由量化参数QP决定： 从上式可以看出，QP每增加6，就增加一倍。在量化过程中还要完成整数DCT过程的比例缩放运算，为了避免使量化中额除法变为移位运算，将扩大倍获得新的变量MF，其中， 其中%表示取余数，可以看出，MF仅有6个值，考虑到整数DCT的缩放因
H.266/VVC技术学习：帧内预测之角度预测模式
BigDream123的博客
02-21 4443
帧内预测之角度预测 为了捕捉自然视频中呈现的任意边缘方向，VVC中的帧内传统角度预测模式数从HEVC中使用的33个扩展到65个。在下图中，VVC中的新的角度预测模式被描绘成红色虚线箭头，并且planar和DC模式保持不变。 ...
H.266/VVC代码学习：DC模式和Planar模式
BigDream123的博客
02-21 3919
Planar模式和DC模式时两种特殊的角度模式，分别对应于模式号0和1。 一、DC模式 DC模式适用于大面积平坦区域，其预测值是通过计算左边和（或）上边参考像素的平均值获得的。 1.1、计算 DC模式预测值的计算和块的形状有关： 当宽等于高时，用左侧参考像素和上边参考像素的平均值作为预测值填充整个块 当宽大于高时，用上边参考像素的平均值作为预测值填充整个块 当宽小于高时，用左侧参...
H.266/VVC技术学习：帧内预测之MIP技术
BigDream123的博客
05-21 3916
Matrix Weighted Intra Prediction（MIP）技术，即矩阵加权帧内预测技术，是VVC中新增加的一种帧内预测技术。其最初的思想来源于基于神经网络的帧内预测技术（JVET-J0037），即利用多层神经网络基于相邻已重建像素预测当前pu像素值。但是这种预测方式复杂度太高，经过权衡，发展出最后采纳的基于线性仿射变换的帧内预测技术。 Tracking route: N0217 ...
新一代通用视频编码h.266/vvc:原理、标准与实现电子书
01-04
H.266/VVC标准还定义了一系列的编码器和解码器工具，例如运动估计、变换、量化和熵编码等，以帮助实现更高效的视频压缩和编码。 实现H.266/VVC标准的电子书涵盖了该标准的原理、技术细节和实际应用。电子书的内容...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值