H.266/VVC相关技术学习笔记10：JVET——O0674: Multiple reference set for CCLM

富士康在O次会议上关于CCLM又提出一个新技术，对于色度预测性能的提升很明显。下面我介绍一下该技术的细节：

首先介绍一下在VTM5.0中的三种LM的4个参考像素点的选取方式：
当前块的长为W，宽为H
1、CCLM：当前色度预测块的上一行（长度为W）和左一列（长度为H）同时存在时，选择的4个点的位置为——R[W/4, -1], R[3W/4, -1], R[-1, H/4] and R[-1, 3H/4]。
2、MDLM_L：当前块的左一列和其左下存在时，令H’=W+H，选择的4个点的位置——R[-1, H’/8], R[-1, 3H’/8], R[-1, 5H’/8] and R[-1, 7H’/8]。
3、MDLM_A：当前块的上一行和其右上存在时，令W’=W+H，选择的4个点的位置——R[W’/8, -1], R[3W’/8, -1] , R[5W’/8, -1] and R[7W’/8, -1]。

富士康在这个提案中提出四种新的LM预测模式去代替原有的三种LM模式（从提案中我不能明确看出它到底是代替原有模式还是和原有模式去竞争，提案中并没有明确说明，但是由于最终他们给出的测试结果中可以看出编码复杂度明显降低，说明这应该不是竞争关系，除非他们把时间给测错了），这四种新模式其实就是四种不同的选点位置，首先需要将当前块的上和左都扩展为W+H长度的参考像素，然后分别用不同的选点方式构造对应的模式，这四种模式要求上和左都存在且两边要各取两个点，这四种新模式如下：
①LM_LA1: R[W’/8, -1], R[7W’/8, -1], R[-1, H’/8] and R[-1, 7H’/8]
②LM_LA2: R[3W’/8, -1], R[5W’/8, -1], R[-1, 3H’/8] and R[-1, 5H’/8]
③LM_LA3: R[W’/8, -1], R[5W’/8, -1], R[-1, H’/8] and R[-1, 5H’/8]
④LM_LA4: R[3W’/8, -1], R[7W’/8, -1], R[-1, 3H’/8] and R[-1, 7H’/8]

这四种新的LM模式选出四个点之后也和原来的CCLM处理方式一样，需要对四个参考点进行比较、分组、求平均的操作，最后得到最大最小点去推导线性模型，這里如果对CCLM推导线性模型的有问题的同学可以在我之前博客查阅，我已经写过关于CCLM的详细技术细节，这里就直接给出链接：H.266/VVC代码学习笔记3：带你解析VTM5.0中CCLM的代码实现细节

该提案中技术在AI上的性能增益如下表所示：
可以看出对于色度预测性能的提升还是比较明显的，我想是该方案通过扩展参考像素的范围，更加周全地顾及到了预测块周围那些可用的像素信息，有效降低了坏点的选中概率，所以对色度的预测就会更加准确。