H.266/VVC相关技术学习笔记2：N次会议有关MPM列表的所有提案大汇总

在N次会议开会之前先预先看了一下所有上传的有关MPM列表的提案，今天抽出时间把之前总结的内容再重新梳理一遍

一、N0134 Simplification of MPM derivation

单位：ETRI (Electronics and Telecommunications Research Institute)
Title：CE3: Simplification of MPM derivation (CE3-3.2)

1） 对CE3-3.2.1中6MPM列表构造方法进行改进（加入的ISP的判别）：
VTM3.0中的MPM列表构建过程

CE3-3.2.1对VTM3.0中MPM列表的简化
N0134对CE3-3.2.1的修改（加入了ISP）

当使用参考行为0或者采用ISP模式时：
如果dirA=dirB:
dir>1:
MPM0=dir
MPM1=Planar
MPM2=DC
MPM3=dir-1
MPM4=dir+1
MPM5=dir-2
Dir<1:
MPM0=dir（Planar或DC）
MPM1=Planar/DC
MPM2=50(垂直)
MPM3=18(水平）
MPM4=50-4
MPM5=50+4
如果dirA!=dirB:
dirA and dirB>1
MPM0=dirA
MPM1=dirB
MPM2=Planar
MPM3=DC
If(1<maxAB-minAB<63)
MPM4=maxAB-1
MPM5=maxAB+1
else
MPM4=maxAB-2
MPM5=maxAB+2
dirA or dirB>1
MPM0=dirA
MPM1=dirB
MPM2=Planar/DC
MPM3=角度-1
MPM4=角度+1
MPM5=角度-2
dirA and dirB<1
MPM0=dir（Planar或DC）
MPM1=Planar/DC
MPM2=50(垂直)
MPM3=18(水平）
MPM4=50-4
MPM5=50+4
当使用参考行为1，3或者不采用ISP模式时：
If(C=A>B?A:B且C>1)
MPM0=dirC
MPM1= dirC-1
MPM2= dirC+1
MPM3= dirC-2
MPM4= dirC+2
MPM5= dirC-3
Else
MPM0=50(垂直)
MPM1= 18(水平)
MPM2= 34
MPM3= 66
MPM4= 2
MPM5= 26

2） CE3-3.2.2中对6MPM列表构造方法的改进（改变了PLANAR模式在列表中的顺序）：

Table 1. Results of CE3-3.2.1 over VTM 4.0

二、N0157

单位：Dahua
Title：MPM List Modification for Zero Reference Line
如果有如下两种情况则改变MPM列表的顺序：
1． 如果一个相邻模式是DC模式，另一个是角度模式a；
2． 如果一个相邻模式是Planar，另一个是角度模式a，a等于2、34或66
其余情况和VTM4.0中一样。
当属于第一种情况的时候
(1)
MPM0=DC
MPM1=a
MPM2=Planar
MPM3=角度-1
MPM4=角度+1
MPM5=角度-2
(2)
MPM0=DC
MPM1= Planar
MPM2=a
MPM3=角度-1
MPM4=角度+1
MPM5=角度-2
当属于第二种情况的时候
(3)
MPM0= Planar
MPM1= a
MPM2=DC
MPM3=角度-1
MPM4=角度+1
MPM5=角度-2

five experiments Test 1~5 are designed:
• Test 1: method (1)
• Test 2: method (2)
• Test 3: method (3)
• Test 4: combine method (1) and method (3)
• Test 5: combine method (2)and method (3)

AI的性能如下：
Test1：Overall -0.01% 0.00% -0.01% 100% 100%
Test2：Overall -0.03% 0.01% 0.00% 100% 100%
Test3：Overall 0.00% 0.00% 0.01% 100% 100%
Test4：Overall -0.02% 0.02% -0.03% 100% 100%
Test5：Overall -0.04% 0.01% 0.00% 100% 100%

三、N0183

单位：Huawei
主要技术：Shared MPM list
本文建议将“共享合并，IBC”列表概念扩展到亮度 (MPM)列表构造。该特性允许共享CU划分树中一个父节点的所有叶子编码单元的相同的MPM列表。因此，共享MPM列表特性缓解了对于小到4 x 4个样本块构建亮度 MPM列表的最坏情况。
如果给定节点满足以下两个条件，则视为共享MPM节点:
(1)共享节点大小的MPM等于或大于阈值
(2)在MPM共享节点中，其中一个子CU大小小于阈值
当满足上述条件时，所有子CU节点共享与共享MPM节点相同的MPM列表。使用的阈值大小为32，这与共享合并和IBC列表相同。

在CTC条件下，在VTM-4.0.1anchor上，AI和RA配置的BD-Rate损失可以忽略不计，而EncT和DecT没有变化。

四、N0184

单位：Huawei
Title： Unified MPM list generation(统一的MPM列表生成)
当前的贡献文档报告了CE测试CE3-3.1.1的结果，其中一个统一的MPM列表生成用于不同的编码工具，包括MRL和ISP。
在之前的VTM4.0中，不同的编码工具使用了三种不同的6-MPM列表生成方法，包括:
1.MRL模式启用（即使用1、3参考行）的6-MPM列表，Planar和DC模式被排除
2.支持ISP模式的的6-MPM列表，不支持DC模式
3.MRL和ISP都不启用的6-MPM列表，其中总是包括Planar和DC。

对于以上的6-MPM列表，使用了不同的6-MPM结构，这使得MPM列表结构变得复杂。复杂的MPM列表构造可能会影响解码器的解码效率，特别是对于4x4样例这样的小块。
1）该提案对于CE3-3.1.1的测试
对正常的预测块（使用0参考行）和启用ISP的块使用统一的6-MPM列表结构。这个统一的6-MPM列表总是包括Planar模式，但总是不包括DC模式。对于启用MRL模式（使用1、3参考行）的预测块，排除Planar模式，使用统一的6-MPM列表中除Planar模式外的其余五种模式。

1. Test A
   a. Anchor: VTM4.0 with no changes in full encoder RD check
   b. Test: Anchor + Proposed test
2. Test B
   a. Anchor: VTM4.0 includes all MPM modes in full encoder RD check (i.e. Codebase).
   b. Test: Anchor + Proposed test

AI的性能如下：
TestA：Overall -0.08% -0.05% -0.07% 101% 101%
TestB：Overall 0.05% -0.05% -0.01% 102% 100%

2）补充测试
对正常的预测块（使用0参考行）和启用ISP的预测块使用统一的6-MPM列表结构。这个统一的6-MPM列表总是包括Planar模式和DC模式。对于启用MRL模式的预测块，排除了Planar模式和DC模式，使用统一的6-MPM列表中除Planar模式和DC模式外的其余四种模态。
Test A
c. Anchor: VTM4.0 with no changes in full encoder RD check
d. Test: Anchor + Proposed test
Test B
e. Anchor: VTM4.0 includes all MPM modes in full encoder RD check (i.e. Codebase).
f. Test: Anchor + Proposed test

AI的性能如下：
TestA：Overall -0.08% -0.06% -0.04% 100% 100%

五、N0185

单位：Huawei
Title：A unified MPM list for intra mode coding
不管是否使用MRL和ISP，对于帧内块都提出统一的6MPM列表。MPM列表是基于VTM4.0中的左（A）和上（B）相邻块的帧内模式构造的。
如果A、B都不存在
将其帧内模式默认设置为Planar
否则
** 如果A and B<1**
MPM list {Planar, DC, V, H, V-4, V+4}
如果A or B>1
MPM list {Planar, MaxAB, DC, MaxAB -1, MaxAB +1, MaxAB -2}
如果A and B>1且A!=B
If(2<(maxAB-minAB)<62)
MPM list{Planar, A, B, DC, MaxAB -1, MaxAB +1}
else
MPM list {Planar, A, B, DC, MaxAB -2, MaxAB +2}
如果A and B>1且A=B
MPM list {Planar, A, A -1, A +1, DC, A -2}

实验结果：

1. Test A
   a. Anchor: VTM4.0 with no changes in full encoder RD check
   b. Test: Anchor + Proposed test
2. Test B
   a. Anchor: VTM4.0 includes all MPM modes in full encoder RD check (i.e. Codebase).
   b. Test: Anchor + Proposed test

AI的性能如下：
Test A：Overall -0.06% 0.02% 0.02% 101% 100%

六、N0305

单位： bbc英国广播公司
Title: Luma intra mode coding with restricted MPM derivation
在VVC WD中，解码不在MPM列表中的模式的过程取决于MPM列表的计算和MPM模式的排序。该提案提议去除这种依赖性，允许那些不在MPM列表中的模式在执行解码模式的时候不需要计算MPM列表。即如果当前模式不在列表中。在编码器和解码器端对MPM列表中的模式进行排序的步骤也被去除。这降低了解码器的复杂度，对编码器压缩效率的影响非常小。此外，在编码器端可以产生不需要任何MPM列表计算的比特流。
实验结果：Overall 0.06% 0.06% 0.02% 98% 95%

七、N0394

单位：Tencent
Title：CE3-related: Unified MPM list based on CE3-3.3 and CE3-3.5.1

在VMT-4.0中，分别使用三个不同的MPM列表生成步骤，用于ISP关闭、ISP 开启和是否使用0参考行。对于 ISP关闭的零参考行，在MPM列表中总是Planar 和 DC模式，并且导出4个角度MPM候选。对于ISP 开启的情况，MPM列表中总是包含Planar模式，总是将DC模式排除在MPM列表之外，并且导出5个角度MPM候选。对于非零参考线，总是从MPM列表中排除Planar 和 DC模式，并且导出6个角度MPM候选。
M次会议的CE3-3.3和CE3-3.5，只生成一个MPM列表。在CE3-3.3.2/3中，Planar 和 DC模式总是第一个和第二个MPM，剩下4个角度MPMS是在使用零参考行MPM列表生成过程得到的。在CE3-3.5.1中，分别对Planar 和 DC模式进行编码，并利用非零参考行MPM列表生成过程导出5/6个角度MPMS。
该提案中，只使用一个统一的MPM列表，在统一的MPM列表中，Planar 和 DC模式总是处于MPM列表中的前两位。在该统一的MPM列表中的所有MPM候选模式被用于ISP关闭的零参考行，在该统一的MPM列表中不包括DC模式的MPM候选模式被用于ISP 开启的情况，并且仅在该统一MPM列表中的角度MPM候选模式被用于非零参考线。
通过CE3-3.5.1中的方法导出5个或6个角度MPM候选，统一后的MPM列表的数目为7或8。对于test1和test3，MPM索引的前两个bin中的每一个都有一个上下文对其进行编码，其与CE3-3.3.2中的相同。对于test2和test4，MPM索引的前两个bin分别有3个和1个上下文，这与CE3-3.3.3中的相同。
Table I: Comparisons between different combined tests

AI的实验结果如下：
Test1：Overall -0.11% -0.03% 0.02% 100% 100%
Test2：Overall -0.15% -0.07% -0.09% 100% 100%
Test3：Overall -0.12% -0.03% -0.03% 102% 100%
Test4：Overall -0.17% -0.05% -0.05% 102% 100%

八、N0433

单位：高通
Title：CE3-related: Unification of MPM derivation for luma intra modes

本文件提出了一个组合MPM列表派生的亮度编码，对于从索引等于0的参考行预测块，以VTM-4.0中的MPM列表为基础，推导出了一组6个MPM候选模式和两个替换模式，删除某些编码块不允许的模式，并根据需要将替换模式添加到MPM列表的末尾，使得MPM的数量始终等于6个。
不允许的情况如下：
索引大于0的参考线预测块的情况，其中不允许使用DC和Planar模式。
对于用ISP编码块，不允许使用DC模式。
该方案为不允许的模式定义了两种替换模式（MRL块的PL和DC模式和ISP块的DC模式）
该方法与当前为常规块定义的MPM列表非常相似；包括了一些更改，与VTM-4.0常规块MPM列表生成相关的更改以黄色突出显示，ISP块的差异以青色突出显示
AI上的性能为：Overall -0.11% -0.03% -0.03%

九、N0436

单位：Sharp Electronics of Canada, 2Sharp Labs of America
Title：CE3-3.4.1, CE3-3.4.2, CE3-3.4.3: Results for unified MPM list construction process

该提案为以下CE3实验提供了结果：CE3-3.4.1、CE3-3.4.2和CE3-3.4.3。
总共有9项测试，测试结果如下：
CE3-3.4.1、CE3-3.4.2和CE3-3.4.3
CE3-3.4.1、CE3-3.4.2和CE3-3.4.3分别使用6MPM列表结构
CE3-3.4.1、CE3-3.4.2和CE3-3.4.3分别减少用于编码角度模式索引的上下文数量。

十、N0437

单位：Sharp Electronics of Canada, 2Sharp Labs of America
Title：Non-CE3: On allowing non-MPM modes for ISP and non-zero reference line
在当前VVC中，非零参考行（nzrl）预测和帧内子分区（isp）仅限于从MPM列表中选择帧内预测模式。因此，如果对当前块最有利的角度模式不在MPM列表中，则此模式不会被选择作为帧内预测模式。该提案建议取消这一限制，允许NZRL和ISP使用非MPM模式。

该提案给出了四组测试结果。分别是：
1.允许ISP使用非MPM模式，并允许编码器测试和选择这些模式。
2.允许NZRL使用非MPM模式，并允许编码器以与零参考行相同的方式测试非MPM模式。
3.允许ISP和NZRL使用非MPM模式（结合上述实验1和2）
4.允许ISP和NZRL使用非MPM模式，但保持VTM4[3]中的search

下面列出了汇总结果：
Test1：Overall -0.09% -0.03% -0.07% 110% 99%
Test2：Overall -0.03% 0.05% 0.03% 157% 98%
Test3：Overall -0.12% 0.00% -0.05% 164% 98%
Test4：Overall 0.04% 0.02% 0.06% 100% 98%

十一、N0450

单位：Sharp Electronics of Canada, 2Sharp Labs of America
Title：CE3-3.4-related: unified MPM list construction
该贡献考虑了实验CE3-3.4的变化。CE3-3.4提出了一种将Planar模式和DC模式从角度模式中分离出来进行帧内编码的方法。jvet-n0436描述了实验CE3-3.4的优化软件实现。在考虑了这些实现之后，本提案进行了修改，以进一步简化MPM列表的构造。
AI上的性能：Overall -0.27% -0.18% -0.19% -0.26% 97% 101%

十二、N0451

单位：LG
Title：CE3-3.1.2 : Harmonization on MPM list
该提案总结了CE3-3.1.2的结果，所有的子测试都使用相同的MPM列表，该列表由0参考行的MPM列表构建过程生成。
在3.1.2a和3.1.2b中，对于非零参考行和（ISP）模式，删除一个或两个MPM候选项。
在3.1.2c中，所有帧内编码都采用统一的MPM生成过程，包括0参考行和非0参考行以及ISP模式。如下表所示：
Table 1. CE sub-tests
性能如下：
CE3-3.1.2.a: -0.04%, 98%, 99% (AI), 0.01%, 100%, 100% (RA)
CE3-3.1.2.b: -0.04%, 99%, 99% (AI), 0.01%, 101%, 99% (RA)
CE3-3.1.2.c: 0.07%, 100%, 99% (AI), 0.07%, 101%, 99% (RA)