TCSVT2020:VVC中扩展TSM和快速MTS选择

 

本文来自TCSVT2020文章《Extended Transform Skip Mode and Fast Multiple Transform Set Selection in VVC》

扩展TSM和MTS

扩展TSM

TSM( Transform Skip Mode)在HEVC version1中提出，用于屏幕内容编码（SCC）对4x4的块使用TSM可以提高编码效率。在HEVC RExt中TSM被扩展到32x32的块，导致计算复杂度大大增加。VVC中扩展TSM（类似HEVC RExt）到32x32的块，表1是VTM3的实验结果。

实验配置为All-Intra模式，其中class F序列为屏幕内容序列。由实验结果可知将TSM扩展到32x32的块可以提高编码效率，但代价是复杂度的提升。

MTS

MTS(Multiple Transform Set)最大的变换尺寸是32x32，且仅对亮度块有效。

TSM和MTS语法的区别

MTS在VVC中首先提出来，在CU级使用语法元素

表示是否使用MTS。最大变换尺寸是32x32，对于64x64的CU，需要划分为四个TU。MTS仅对亮度块有效，而TSM对亮度和色度都有效。

 

Code 1总结了TSM和MTS语法元素，其中c代表颜色分量，实线s表示从码流中解析该语法元素。

表示当时编码器必须传输语法元素表示是否使用TSM。

 

Unified MTS

Unified MTS将

三个语法元素融合为一个语法元素，如表2所示。

 

COde 2总结了相关语法元素。

和COde 1的一个不同是，在COde 1中当

时编码器不会传输，其值自动设为0。TSM扩展到32x32的块正好匹配MTS，唯一的问题是MTS不能用于色度分量。分析可知对色度分量禁用TSM对编码效率影响很小。

 

表3是仅对亮度分量使用32x32的TSM的结果，和表1对比发现编码时间减少7%，而编码效果相近。因此，通过进度亮度使用TSM，Unified MTS可以很好的统一TSM和MTS。

快速模式选择

编码器实现MTS时，在二次编码时不会计算所有帧内模式。

如Code 3所示，c(i)表示帧内模式i的RD cost，

表示编码器在一次编码是当前最优帧内模式的RD cost。当前实现中编码器会在一次编码时存储所有帧内模式的RD cost，然后通过和比较过滤掉一些模式。在二次编码中，编码器会对剩余的帧内模式测试MTS中所有的变换模式。Unified MTS在一次编码中进行快速模式选择，对于每个变换块编码器对所有的变换候选项计算L1-norm。

 

P表示当前变换块扫描位置的集合，l(p)表示给定扫描位置p处的变换系数。然后，编码器将变换候选项的L1-norm和DCT-II的L1-norm进行比较，过滤掉L1-norm大的候选项。

 

Code 4表示Unified MTS的快速模式决策过程，

是用户输入参数可以限制总共RD计算的次数，表示DCT-II的L1-norm。阈值和块尺寸有关，T是包含了不同尺寸块的阈值的集合。总的来说，Unified MTS的快速模式决策过滤掉变换模式候选项而不是像现在的方法过滤掉帧内模式。

实验结果

使用平台使用VTM3，QP={22,27,32,37},配置为AI和RA。其中Class F和TGM序列为屏幕内容序列，对屏幕内容序列开启IBC。

扩展TSM

表4是扩展TSM的结果，其结果和表3相同只是多了TGM序列。

Unified MTS

感兴趣的请关注微信公众号Video Coding