本文来自提案 JVET-Y0092
介绍
ECM3.1中色度分量的帧内预测模式好包括六种交叉分量线性模型 (LM) 模式(CCLM_LT、CCLM_L、CCLM_T、MMLM_LT、MMLM_L 和 MMLM_T 模式) 、直接模式 (DM) 和四 默认色度帧内预测模式。 四种默认模式由列表 {0,50,18,1} 给出,如果 DM 模式已经属于该列表,则列表中的模式将替换为模式 66。
ECM中引入了DIMD技术,DIMD是为当前块的第二相邻行和第二列的L形模板的每个重建亮度样本计算水平梯度和垂直梯度,以构建梯度直方图(HoG)。 然后,将具有最大和第二大直方图幅度值的两个帧内预测模式与PLANAR模式加权融合,以生成当前亮度块的最终预测值。
本提案提出将DIMD应用在帧内色度预测模式(DIMD Chroma)以及非 LM 模式和 LM 模式的融合。
方法一
提出了一种解码端派生色度帧内预测模式(DIMD chroma):
使用当前色度块对应的亮度重建样本推导DIMD模式,将推导得到的模式作为色度预测模式进行预测。
如上图所示,利用亮度重建样本计算水平梯度和垂直梯度,建立梯度直方图HOG,选出幅度值最大的角度模式作为 DIMD 色度模式。如果推导出的角度模式等于 DM 模式,则使用幅度值第二大的角度模式。
编码端发送CU级的标志以指示是否应用DIMD Chroma模式,所提出方法中intra_chroma_pred_mode的二进制化过程如下图所示:
bin string | chroma intra mode |
1100 | planar |
1101 | DC |
1110 | horizontal |
1111 | vertical |
10 | DIMD chroma |
0 | DM |
方法二
提出将非LM模式得到的预测值pred_nonLM(包括DIMD Chroma在内的6种模式)和LM模式pred_LM(仅MMLM_LT模式)得到的预测值进行加权融合:
对于 I Slice,加权融合的权重由相邻CU的预测模式决定,具体地:
above | left | (w0, w1) |
LM | LM | (1, 3) |
LM | Non LM | (2, 2) |
Non LM | LM | (2, 2) |
Non LM | Non LM | (3, 1) |
对于B/P slice,使用相等的权重。
对于非LM模式,需要额外发送一个标志以指示是否应用加权融合。
实验结果
所提出的方法在 ECM3.1 的性能:
All Intra Main10 | |||||
Over ECM-3.1 | |||||
Y | U | V | EncT | DecT | |
Class A1 | -0.11% | -1.74% | -1.27% | 105% | 99% |
Class A2 | -0.07% | -1.43% | -1.32% | 106% | 99% |
Class B | -0.10% | -1.29% | -1.40% | 104% | 101% |
Class C | -0.11% | -1.35% | -1.28% | 106% | 100% |
Class E | -0.14% | -1.82% | -1.70% | 104% | 101% |
Overall | -0.11% | -1.49% | -1.39% | 105% | 100% |
Class D | -0.10% | -0.87% | -1.05% | 107% | 99% |
Class F | -0.11% | -0.89% | -0.81% | 104% | 100% |
Random access Main10 | |||||
Over ECM-3.1 | |||||
Y | U | V | EncT | DecT | |
Class A1 | -0.02% | -0.61% | -0.45% | 102% | 99% |
Class A2 | -0.04% | -0.61% | -0.47% | 103% | 99% |
Class B | 0.02% | -0.79% | -0.88% | 102% | 100% |
Class C | 0.03% | -0.76% | -0.51% | 102% | 99% |
Class E |
|
|
|
| |
Overall | 0.00% | -0.71% | -0.62% | 102% | 99% |
Class D | 0.07% | -0.61% | -0.98% | 102% | 99% |
Class F | -0.04% | -0.35% | -0.43% | 102% | 99% |
非 I Slice的修改:融合方法中的非 LM 模式被限制为仅使用提出的 DIMD 色度模式。修改后的RA下的性能:
|
| Random access Main10 |
|
| |||||
|
| Over ECM-3.1 |
|
| |||||
Y | U | V | EncT | DecT | |||||
Class A1 | -0.05% | -0.43% | -0.51% | 101% | 99% | ||||
Class A2 | -0.05% | -0.58% | -0.40% | 101% | 99% | ||||
Class B | -0.02% | -0.65% | -0.72% | 100% | 99% | ||||
Class C | -0.03% | -0.56% | -0.17% | 101% | 99% | ||||
Class E |
|
|
|
| |||||
Overall | -0.03% | -0.57% | -0.47% | 101% | 99% | ||||
Class D | -0.02% | -0.23% | -0.74% | 100% | 99% | ||||
Class F | -0.06% | -0.24% | -0.26% | 100% | 98% |