VTM3.0代码阅读：xCheckRDCostMergeTriangle2Nx2N函数

最新推荐文章于 2023-03-31 14:43:47 发布
最新推荐文章于 2023-03-31 14:43:47 发布
阅读量189 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gq0323/article/details/103732589
版权

三角预测模式，首先会获取一个三角预测单向候选模式列表，表长为5，就像普通merge模式的函数流程那样；
然后MC计算5个候选的预测像素pred，方便之后的40种三角组合模式的pred像素加权计算；
对40种三角组合模式进行SATD，计算出最优的3种组合模式；
对SATD得到的最优的三角组合预测模式，RDO得到最优的一种三角组合预测模式。

void EncCu::xCheckRDCostMergeTriangle2Nx2N( CodingStructure *&tempCS, CodingStructure *&bestCS, Partitioner &partitioner, const EncTestMode& encTestMode )
{
  const Slice &slice = *tempCS->slice;
  const SPS &sps = *tempCS->sps;

  CHECK( slice.getSliceType() != B_SLICE, "Triangle mode is only applied to B-slices" );	//M0329扩展到了P
  
  tempCS->initStructData( encTestMode.qp, encTestMode.lossless );		//tempCS清空
  
  bool trianglecandHasNoResidual[TRIANGLE_MAX_NUM_CANDS];
  for( int mergeCand = 0; mergeCand < TRIANGLE_MAX_NUM_CANDS; mergeCand++ )
  {
    trianglecandHasNoResidual[mergeCand] = false;
  }

#if JVET_L0293_CPR
  bool bestIsSkip;
  CodingUnit* cuTemp = bestCS->getCU(partitioner.chType);
  if (cuTemp)
    bestIsSkip = m_pcEncCfg->getUseFastDecisionForMerge() ? bestCS->getCU(partitioner.chType)->rootCbf == 0 : false;
  else
    bestIsSkip = false;
#else
  bool                  bestIsSkip             = m_pcEncCfg->getUseFastDecisionForMerge() ? bestCS->getCU( partitioner.chType )->rootCbf == 0 : false;
#endif
  uint8_t               numTriangleCandidate   = TRIANGLE_MAX_NUM_CANDS;		//40
  uint8_t               triangleNumMrgSATDCand = TRIANGLE_MAX_NUM_SATD_CANDS;		//SATD选择3个mvp
  PelUnitBuf            triangleBuffer[TRIANGLE_MAX_NUM_UNI_CANDS];	//存储构建的三角预测单向列表中5个mvp的预测像素
  PelUnitBuf            triangleWeightedBuffer[TRIANGLE_MAX_NUM_CANDS];//存储40种三角组合模式的加权像素值
  static_vector<uint8_t, TRIANGLE_MAX_NUM_CANDS> triangleRdModeList;
  static_vector<double,  TRIANGLE_MAX_NUM_CANDS> tianglecandCostList;	//modeList和costList

  if( auto blkCache = dynamic_cast< CacheBlkInfoCtrl* >( m_modeCtrl ) )
  {
    bestIsSkip |= blkCache->isSkip( tempCS->area );
  }

  DistParam distParam;
  const bool useHadamard = !encTestMode.lossless;
  m_pcRdCost->setDistParam( distParam, tempCS->getOrgBuf().Y(), m_acMergeBuffer[0].Y(), sps.getBitDepth( CHANNEL_TYPE_LUMA ), COMPONENT_Y, useHadamard );

  const UnitArea localUnitArea( tempCS->area.chromaFormat, Area( 0, 0, tempCS->area.Y().width, tempCS->area.Y().height) );

  const double sqrtLambdaForFirstPass = m_pcRdCost->getMotionLambda(encTestMode.lossless);

  MergeCtx triangleMrgCtx;			//三角预测候选列表
  {
    CodingUnit cu( tempCS->area );
    cu.cs       = tempCS;
    cu.partSize = SIZE_2Nx2N;
    cu.predMode = MODE_INTER;
    cu.slice    = tempCS->slice;
    cu.triangle = true;
#if JVET_L0054_MMVD
    cu.mmvdSkip = false;
#endif    
#if JVET_L0646_GBI
    cu.GBiIdx   = GBI_DEFAULT;
#endif

    PredictionUnit pu( tempCS->area );
    pu.cu = &cu;
    pu.cs = tempCS;

    PU::getTriangleMergeCandidates( pu, triangleMrgCtx );	// 获取三角预测单向MV列表

    for( uint8_t mergeCand = 0; mergeCand < TRIANGLE_MAX_NUM_UNI_CANDS; mergeCand++ )	//对5个三角预测候选分别MC
    {
      triangleBuffer[mergeCand] = m_acMergeBuffer[mergeCand].getBuf(localUnitArea);
      triangleMrgCtx.setMergeInfo( pu, mergeCand );		//给pu赋值单向三角候选的motioninfo
      PU::spanMotionInfo( pu, triangleMrgCtx );
													//直接取单向mv，通过MC得到pred像素，存储于triangleBuffer
      m_pcInterSearch->motionCompensation( pu, triangleBuffer[mergeCand] );		//MC   得到三角单向候选的pred像素，方便之后组合三角模式的计算
    }
  }

  bool tempBufSet = bestIsSkip ? false : true;
  triangleNumMrgSATDCand = bestIsSkip ? TRIANGLE_MAX_NUM_CANDS : TRIANGLE_MAX_NUM_SATD_CANDS;
  if( bestIsSkip )
  {
    for( uint8_t i = 0; i < TRIANGLE_MAX_NUM_CANDS; i++ )	//skip时需要RDO选择40个三角模式
    {
      triangleRdModeList.push_back(i);
    }
  }
  else						//SATD
  {										//SATD从40个三角模式中选出最优的3个模式
    CodingUnit &cu      = tempCS->addCU( tempCS->area, partitioner.chType );
      
    partitioner.setCUData( cu );
    cu.slice            = tempCS->slice;
    cu.skip             = false;
    cu.partSize         = SIZE_2Nx2N;
    cu.predMode         = MODE_INTER;
    cu.transQuantBypass = encTestMode.lossless;
    cu.chromaQpAdj      = cu.transQuantBypass ? 0 : m_cuChromaQpOffsetIdxPlus1;
    cu.qp               = encTestMode.qp;
    cu.triangle         = true;
#if JVET_L0054_MMVD
    cu.mmvdSkip         = false;
#endif
#if JVET_L0646_GBI
    cu.GBiIdx           = GBI_DEFAULT;
#endif

    PredictionUnit &pu  = tempCS->addPU( cu, partitioner.chType );		//tempCS添加cu pu
      
    if( abs(g_aucLog2[cu.lwidth()] - g_aucLog2[cu.lheight()]) >= 2 )
    {
      numTriangleCandidate = 30;		//当前块的长宽比，大于等于4时
    }
    else
    {
      numTriangleCandidate = TRIANGLE_MAX_NUM_CANDS;	//40
    }

    for( uint8_t mergeCand = 0; mergeCand < numTriangleCandidate; mergeCand++ )		//loop 40种三角组合模式
    {																//g_triangleCombination即为三角预测的那张表格
      bool    splitDir = g_triangleCombination[mergeCand][0];		//三角划分方向，对角反对角
      uint8_t candIdx0 = g_triangleCombination[mergeCand][1];		//第一个三角的候选idx
      uint8_t candIdx1 = g_triangleCombination[mergeCand][2];		//第二个三角的候选idx

      pu.mergeIdx  = mergeCand;
      pu.mergeFlag = true;
      triangleWeightedBuffer[mergeCand] = m_acTriangleWeightedBuffer[mergeCand].getBuf( localUnitArea );
      triangleBuffer[candIdx0] = m_acMergeBuffer[candIdx0].getBuf( localUnitArea );
      triangleBuffer[candIdx1] = m_acMergeBuffer[candIdx1].getBuf( localUnitArea );
															//三角预测的两个三角预测像素加权
      m_pcInterSearch->weightedTriangleBlk( pu, PU::getTriangleWeights(pu, triangleMrgCtx, candIdx0, candIdx1), splitDir, CHANNEL_TYPE_LUMA, triangleWeightedBuffer[mergeCand], triangleBuffer[candIdx0], triangleBuffer[candIdx1] );
      
      distParam.cur = triangleWeightedBuffer[mergeCand].Y();

      Distortion uiSad = distParam.distFunc( distParam );		//计算失真

      uint32_t uiBitsCand = g_triangleIdxBins[mergeCand];

      double cost = (double)uiSad + (double)uiBitsCand * sqrtLambdaForFirstPass;	//一种三角组合模式的cost

#if JVET_L0283_MULTI_REF_LINE
      static_vector<int, TRIANGLE_MAX_NUM_CANDS> * nullList = nullptr;
#endif
      updateCandList( mergeCand, cost, triangleRdModeList, tianglecandCostList		//根据cost，排序各种三角组合模式
#if JVET_L0283_MULTI_REF_LINE
        , *nullList, -1
#endif
        , triangleNumMrgSATDCand );
    } //40种三角组合模式loop结束
        
    // limit number of candidates using SATD-costs
    for( uint8_t i = 0; i < triangleNumMrgSATDCand; i++ )
    {
      if( tianglecandCostList[i] > MRG_FAST_RATIO * tianglecandCostList[0] || tianglecandCostList[i] > getMergeBestSATDCost() )
      {
        triangleNumMrgSATDCand = i;
        break;
      }
    }

    // perform chroma weighting process
    for( uint8_t i = 0; i < triangleNumMrgSATDCand; i++ )		//SATD选取3个最优的三角组合模式
    {
      uint8_t  mergeCand = triangleRdModeList[i];
      bool     splitDir  = g_triangleCombination[mergeCand][0];
      uint8_t  candIdx0  = g_triangleCombination[mergeCand][1];
      uint8_t  candIdx1  = g_triangleCombination[mergeCand][2];
        
      pu.mergeIdx  = mergeCand;
      pu.mergeFlag = true;
														//计算三个最优的三角组合模式的加权预测像素
      m_pcInterSearch->weightedTriangleBlk( pu, PU::getTriangleWeights(pu, triangleMrgCtx, candIdx0, candIdx1), splitDir, CHANNEL_TYPE_CHROMA, triangleWeightedBuffer[mergeCand], triangleBuffer[candIdx0], triangleBuffer[candIdx1] );
    }

    tempCS->initStructData( encTestMode.qp, encTestMode.lossless );
  }

  {
    const uint8_t iteration = encTestMode.lossless ? 1 : 2;
    for( uint8_t noResidualPass = 0; noResidualPass < iteration; noResidualPass++ )	//两次循环
    {
      for( uint8_t mrgHADIdx = 0; mrgHADIdx < triangleNumMrgSATDCand; mrgHADIdx++ )		//对SATD选择的三角组合模式进行RDO
      {
        uint8_t mergeCand = triangleRdModeList[mrgHADIdx];

        if ( ( (noResidualPass != 0) && trianglecandHasNoResidual[mergeCand] )
          || ( (noResidualPass == 0) && bestIsSkip ) )
        {
          continue;
        }

        bool    splitDir = g_triangleCombination[mergeCand][0];		//划分方向
        uint8_t candIdx0 = g_triangleCombination[mergeCand][1];		//第一个三角的候选idx
        uint8_t candIdx1 = g_triangleCombination[mergeCand][2];		//第二个三角的候选idx

        CodingUnit &cu = tempCS->addCU(tempCS->area, partitioner.chType);

        partitioner.setCUData(cu);
        cu.slice = tempCS->slice;
        cu.skip = false;
        cu.partSize = SIZE_2Nx2N;
        cu.predMode = MODE_INTER;
        cu.transQuantBypass = encTestMode.lossless;
        cu.chromaQpAdj = cu.transQuantBypass ? 0 : m_cuChromaQpOffsetIdxPlus1;
        cu.qp = encTestMode.qp;
        cu.triangle = true;
#if JVET_L0054_MMVD
        cu.mmvdSkip = false;
#endif
#if JVET_L0646_GBI
        cu.GBiIdx   = GBI_DEFAULT;
#endif
        PredictionUnit &pu = tempCS->addPU(cu, partitioner.chType);		//tempCS添加cu pu

        pu.mergeIdx = mergeCand;
        pu.mergeFlag = true;
									//将当前test的三角组合候选的MotionInfo赋给pu
        PU::spanTriangleMotionInfo(pu, triangleMrgCtx, mergeCand, splitDir, candIdx0, candIdx1 );

        if( tempBufSet )	//非skip模式时为true，因为此时的pred像素已在上面计算过，无需再计算
        {
          tempCS->getPredBuf().copyFrom( triangleWeightedBuffer[mergeCand] );
        }
        else
        {		// skip模式时
          triangleBuffer[candIdx0] = m_acMergeBuffer[candIdx0].getBuf( localUnitArea );
          triangleBuffer[candIdx1] = m_acMergeBuffer[candIdx1].getBuf( localUnitArea );
          PelUnitBuf predBuf         = tempCS->getPredBuf();
          m_pcInterSearch->weightedTriangleBlk( pu, PU::getTriangleWeights(pu, triangleMrgCtx, candIdx0, candIdx1), splitDir, MAX_NUM_CHANNEL_TYPE, predBuf, triangleBuffer[candIdx0], triangleBuffer[candIdx1] );
        }
												//计算cost，并将最后的模式信息给bestCS								// xEncodeInterResidual
        xEncodeInterResidual( tempCS, bestCS, partitioner, encTestMode, noResidualPass, NULL, true, ( (noResidualPass == 0 ) ? &trianglecandHasNoResidual[mergeCand] : NULL ) );

        if (m_pcEncCfg->getUseFastDecisionForMerge() && !bestIsSkip)
        {
          bestIsSkip = bestCS->getCU(partitioner.chType)->rootCbf == 0;
        }
        tempCS->initStructData(encTestMode.qp, encTestMode.lossless);
      }// end loop mrgHADIdx
    }   
  }
}
矛盾统一
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
VTM10.0代码学习18：xCheckRDCostMerge2Nx2N()
hjhyxq2014的博客
06-29 889
此系列是为了记录自己学习VTM10.0的过程，目前正在看编码端。主要的参考文档有JVET-S2001-vH和JVET-S2002-v1。由于本人水平有限，出现的错误恳请大家指正。如果觉得我的文章对您有帮助的话，不妨点赞收藏加关注，谢谢！！ 本篇博文就是这个系列的最后一篇了，从开始看VTM到现在差不多9个月，之中断断续续地把VTM的主干大致过了一遍，虽然有很多部分都略过未看，但也对VVC有了大致的认识，算得上是实现开始更新这个系列时的初心。之后如果没有找到想跟大家分享的内容，应该就是无期停更了。欢迎大家.
VTM1.0代码阅读：xCheckRDCostMerge2Nx2N函数
矛盾统一
12-26 298
xCheckRDCostMerge2Nx2N在xCompressCU函数中调用，用来进行Merge模式的计算。skip模式相较于Merge模式，不向解码端发送残差系数。 首先由getInterMergeCandidates获取merge候选模式信息，存储于mergeCtx； 如果不进行fastMerge，则跳过SATD直接进行RDO选最优； fastMerge时，对7个merge候选模式进行SAT...
H.266/VVC代码学习笔记15：VTM6.0中的xCheckRDCostMergeTriangle2Nx2N（）函数
Peter_Red_Boy的博客
10-01 1207
VTM6.0中xCheckRDCostMergeTriangle2Nx2N（）函数是帧间预测技术中Merge模式中TPM技术的主函数的入口，想要了解TPM在代码中的实现，这个函数是啃定了，我只是大概看了一下该函数的大致上的流程以及其中三角Merge列表的构建、加权预测的大致过程。今天将所看的代码分享给大家，如过代码中有理解错的地方，还请指正，谢谢大家~ 还是老套路，用文字过一下该函数的大致流程，再...
H.266/VVC代码学习:xCheckRDCostMerge2Nx2N函数
BigDream123的博客
06-05 1433
xCheckRDCostMerge2Nx2N函数是用来选出Merge模式中最佳的候选MV，根据常规Merge模式、带有运动矢量差的Merge模式(MMVD)以及CIIP模式产生的预测值和原始值得SATD Cost，选出最佳的运动信息。 主要分为以下过程： ① 获取Merge模式候选列表 首先通过getInterMergeCandidates函数和getInterMMVDMergeCandidates函数分别获取常规Merge模式和MMVD模式的候选列表，常规Merge的候选列表推导参考：扩展的Merg
xCheckRDCostMerge2NX2N函数流程
syn_0123的博客
07-16 324
xCheckRDCostMerge2NX2N函数流程： 1.初始化； 2.确定该CU所在的深度； 3.给PU中的partition写入分割模式； 4.getInterMergeCandidates； 5.创建一个mergeCandidates列表并初始化； 6.遍历所有mergeCandidates，遍历所有模式，预测，量化，编码。具体这一步： 1）set MC参数； ...
foundryvtt-vtm-20th:吸血鬼化妆舞会20周年纪念版
04-29
《FoundryVTT-VTM-20th：吸血鬼化妆舞会20周年纪念版——JavaScript技术在桌面角色扮演游戏中的应用》 “FoundryVTT-VTM-20th”是一个专为庆祝《吸血鬼：化妆舞会》游戏20周年的数字化版本，它利用了Foundry ...
vtm-template:项目重构2.0
05-15
【vtm-template:项目重构2.0】是一个关于软件开发中的项目重构的实践案例，主要聚焦于使用JavaScript语言进行的代码优化与结构改进。在软件开发过程中，重构是为了提高代码的可读性、可维护性和整体性能，而不会改变...
VTM代码算法文档 下载于官网
10-10
\n\n在2020年10月7日至16日的20次会议上，通过电话会议，JVET发布了VVC工作草案11和VVC测试模型11（VTM11）的算法描述和编码方法。VTM11是一个用于验证和优化VVC编码性能的实验性编码工具，它包含了最新的编码技术，...
VTM_TER:提交初始
05-10
【VTM_TER:提交初始】项目是一个专注于移动设备图像处理的应用程序原型，主要采用Java语言进行开发。在本文中，我们将深入探讨这个项目的背景、Java在图像处理中的应用以及相关技术点。 移动图像处理是现代智能手机...
VTM88828A驱动开发代码
12-29
1、个人原创，VTM88828A驱动代码在三星的S5PV210-uboot中实现，已经在真实的项目开发中验证OK 2、此驱动代码可轻松移植到其它单片机开发平台 3、ASCII码字库采用格式:纵向取模，字节倒序，大小(w*h):6*12 字体
H.266代码学习：xCheckRDCostMerge2Nx2N函数
慢慢积累
06-14 1320
今天来学习一下JEM中的xCheckRDCostMerge2Nx2N函数。之前HEVC代码学习31：xCheckRDCostMerge2Nx2N函数已经学习了HEVC中的xCheckRDCostMerge2Nx2N函数，JEM中相比HM变化不大，主要是新加入了TMVP新技术。 xCheckRDCostMerge2Nx2N xCheckRDCostMerge2Nx2N是帧间Merge模式的入...
TEncCu::xCheckRDCostMerge2Nx2N
guoyaoyao1990的专栏
06-27 1565
转载于http://blog.csdn.net/mashiying2013/article/details/10068927 VoidTEncCu::xCheckRDCostMerge2Nx2N( TComDataCU*& rpcBestCU, TComDataCU*& rpcTempCU, Bool*earlyDetectionSkipMode ) {   assert( rp
VTM3.0代码阅读：xCheckRDCostAffineMerge2Nx2N函数
矛盾统一
12-27 508
由于宏JVET_L0632_AFFINE_MERGE默认开启，因此删减了函数中一些无用代码。 xCheckRDCostAffineMerge2Nx2N函数的流程和普通Merge模式的函数流程基本完全一样。都是先获取候模式选列表，然后SATD，再RDO选最优。 Affine_Merge模式要求，块的大小长宽必须都大于8. 其中调用getAffineMergeCand函数获取AffineMerge候选...
[VTM19.0代码阅读] xCheckRDCostMerge2Nx2N
最新发布
stylexf的博客
03-31 307
【代码】[VTM19.0代码阅读] xCheckRDCostMerge2Nx2N。
VTM3.0代码阅读：xCheckRDCostMerge2Nx2N函数
矛盾统一
12-26 538
xCheckRDCostMerge2Nx2N在xCompressCU函数中调用，用来测试Merge模式、mmvd模式以及CIIP模式。 首先由getInterMergeCandidates获取merge候选模式信息，存储于，mergeCtx。同时由merge列表获取MMVD模式的两个baseMV。 如果不进行fastMerge，则跳过SATD直接进行RDO选最优 fastMerge时，对7个mer...
VVC/JEM代码学习17：xCheckRDCostMerge2Nx2NFRUC
小小柴的博客
04-01 480
在执行完xCheckRDCostMerge2N*2N函数完后，会执行此函数。FRUC包含两种技术，一种是模板匹配，一种是双边匹配。该计算的关键在于怎么推导MV，下次再看吧。#if VCEG_AZ07_FRUC_MERGE Void TEncCu::xCheckRDCostMerge2Nx2NFRUC( TComDataCU*&amp; rpcBestCU, TComDataCU*&amp; rpc...
【VTM10.0代码学习】帧间预测xCheckRdCostMerge2N*2N
qq_45374297的博客
11-22 554
  xCheckRdCostMerge函数在xCompressCU中被调用，这里包括了常规Merge模式、CIIP模式和MMVD模式，GPM在xCheckRDCostGeo函数中。也就是说常规Merge、CIIP、MMVD共用一个代价列表，从中选出三个模式下的最优预测，同其他普通帧间、Affine模式再一同比较。   注释都写的比较详细，一部分参考了其他大神还有师兄的注释，让我刚入实验室就能更好的理解代码。代码片中有些宏是用来测试时间的，大家可以忽略。 void EncCu::xCheckRDCostMer
H.266/VVC代码学习笔记14：xCheckRDCostMerge2Nx2N（）函数
Peter_Red_Boy的博客
10-01 1627
近期学习了一下xCheckRDCostMerge2Nx2N（）函数，这是编码端帧间预测中非常重要的一个函数，该函数类似于帧内的xCheckRDCostIntra（）函数，是对三种Merge模式：regular_Merge、CIIPMerge、MMVD_Merge；进行率失真代价的比较，选出代价最小也就是最优的一种Merge候选。大体上看明白了该函数的流程，简要的讲一下该函数的具体的流程，如下： 1...
HEVC帧间预测之三——TEncCu::xCheckRDCostMerge2Nx2N函数分析
热门推荐
HEVC_CJL的专栏
03-12 1万+
本文将对实现merge模式的主函数xCheckRDCostMerge2Nx2N进行分析，方便理清merge模式的整个过程。之前的一篇分析了getInterMergeCandidates的具体实现，还有两个比较重要的函数motionCompensation和encodeResAndCalcRdInterCU，将留在后面陆续进行分析，但是根据它们的命名就不难猜出它们的作用，而且事实也是这样，因此对理解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值