VVC中用到的新技术点

VVC相比HEVC所采用的一些新的技术点

---

变换量化部分

A.大尺寸变换块的高频置零

VTM支持64x64大小的变换块，以此来适应更高分辨率的视频，如1080p和4K序列。对于宽或者高等于64的变换块，高频系数置零，只保留低频系数。
当对一个大块使用变换跳过模式时，将使用整个块而不置零任何值。

B.用于核变换的多变换选择

MTS被用于帧内帧间的残差编码，下表显示了所选择的DST/DCT的基函数：
为了将变换系数中间值保持在16位范围内，在水平和垂直变换后，所有系数都将具有10位。为控制MTS，在SPS级分别为帧内和帧间指定了单独的使能标志。当在SPS上启用MTS时，一个CU级别的标志将会发送以指示MTS是否应用。这里，MTS只适用于亮度。当满足：宽高都小于等于32、CBF标志等于1时，MTS的CU级别的标志会“发出信号”。
如果MTS级别的CU标志等于0，水平和垂直方向都可以用DCT2。然而，如果MTS的CU标志等于1，则另外发送两个标志以分别指示水平和垂直方向上的变换类型。如下表所示：

通过移除帧内模式和块形状依赖，来使用统一的ISP的变换选择和隐式MTS。如果当前块是ISP模式，或者当前块是帧内块，并且帧内和帧间的显式的MTS都打开，则水平和垂直变换核只使用DST7。
对于变换矩阵精度，使用8位主变换核。因此，HEVC中所使用的所有变换核都保持不变，包括4点DCT2和DST7，8、16、32点DCT2。此外，其他变换核（包括64点DCT2，4点DCT8，8、16、32点DST7和DCT8）使用8位主变换核。
为降低大尺寸DST7和DCT8的复杂性，对于宽或高或者宽和高是32的DST7和DCT8的块，进行高频变换系数置零，只保留16x16低频区域内的系数。
如在HEVC，残差块可以用变换跳过模式编码。为避免语法元素冗余，当CU级MTS_CU_flag不等于0时，不发送变换跳过标志。变换跳过的块的大小限制与JEM4中MTS相同，表明当块宽度和高度都等于或小于32时，变换跳过适用于CU。

C.LFNST

LFNST，即缩减的二次变换，在编码端被用于主变换和量化之间，在解码端被用于反量化和反变换之间，如下图所示：

在LFNST中，根据块大小应用4x4不可分离变换或者8x8不可分离变换。例如，4x4LFNST适用于小块（宽高的较小者小于8）并且8x8LFNST适用于大块（宽高的较小者大于4）。

a.缩减的不可分离变换

b.LFNST变换选择

LFNST总共使用4个变换集，每个变换集有两个不可分离的变换核（变换矩阵）。从帧内预测模式到变换集的映射是预先定义的，如下表：

对于每个变换集，所选择的不可分离的二次变换候选是由LFNST索引来进一步来指定的。在变换系数之后，该索引在每个帧内CU的比特流中被发送一次。

c.LFNST索引信号与其他工具的交互

前向8x8LFNST使用16x48矩阵，因此它仅在给定8x8区域内的左上角4x4区域产生非零系数。换句话说，如果应用LFNST，则除左上4x4区域之外的8x8区域内仅生产零系数。因此，当在左上方4x4以外的8x8块区域内检测到任何非零元素时，LFNST索引不会被编码，因为这意味着没有应用LFNST。在这种情况下，LFNST索引被推断为0。如果LFNST索引为0，则不应用LFNST。否则，就用LFNST。此外，LFNST索引是上下文编码的，但是不依赖帧内预测模式，并且只有第一个bin是上下文编码的。
当满足下面两个条件时，将有条件地应用反向LFNST：
(1)块尺寸大于等于给定阈值（W>=4且H>=4）
(2)变换跳过模式标志等于0
如果变换系数块的宽度和高度都大于4，则8x8LFNST被用于变换系数块的左上角8x8区域。否则，在变换系数块的左上角min(8,W)xmin(8,H)区域应用4x4LFNST。
此外，LFNST适用于帧内和帧间slice的帧内CU，以及亮度和色度。如果启用二叉树，则对于亮度和色度的LFNST指数会分别发出信号。对于帧间（禁用二叉树时），一个单一的LFNST索引会被发送并用于亮度和色度。
当选择ISP模式时，LFNST将被禁用，并不会发出RST索引，因为即使将RST应用于每个可行的分区块，性能提高也是微乎其微的。此外，禁用RST，对于ISP预测残差可以降低编码复杂度。当选择MIP(Matrix weighted Intra Prediction)模式时，LFNST也被禁用，并不会发出索引信号。

D.SBT

子块变换被用于帧间预测的CU。在子块变换模式下，只有残差块的一个子部分被编码为CU。当帧间预测CU的cu_cbf等于1时，可以用cu_sbt_flag来指示对整个残差块或者残差块的子部分进行编码。在前一种情况下，进一步解析中间块信息以确定中间块变换类型。在后一种情况下，残差块的一部分用推断的自适应变换编码，并且残差块的其他部分置零。