关于3D-HEVC中的Single Depth Intra Mode以及Depth Intra Skip Mode

最近在阅读有关3D-HEVC的论文时，经常会看到“Single Depth Intra Mode”这个模式，以及“Depth Intra Skip Mode”模式，因此特意查找了一下相关资料，并仔细研究了一下这两种模式的来龙去脉，在此简单的做下笔记。

参考文献：[1] “Single depth intra mode for 3D-HEVC”, Yi-WenChen, Jian-Liang Lin, JCT3V-H0087.

                    [2] "3D-CE2: Single depth intra mode for 3D-HEVC", Yi-WenChen, Jian-Liang Lin, JCT3V-I0095.

                    [3] "3D-CE1: Depth intra skip (DIS) mode", Jin Young Lee, MinWoo Park, JCT3V-K0033.

实际上，Depth Intra Skip Mode是由Single Depth Intra Mode发展而来的，具体过程是：

在（JCT3V-H0087）第一次提出“Single Depth Intra Mode”，

在（JCT3V-I0095）对“Single Depth Intra Mode”进行了一次改进，

在（JCT3V-K0033）提出了“Depth Intra Skip Mode”，并将“Single Depth Intra Mode”整合到“Depth Intra Skip Mode”中。

下面分别介绍这三篇文献，也就是这两种模式的发展过程。

//============JCT3V-H0087============//

“Single Depth Intra Mode”模式是在这个提案中提出的，

这种模式是在编码深度图时使用的，并且只在帧内预测时使用。用来编码深度图中的平滑区域。

该模式的主要思想就是在编码平滑CU时，使用一个单一的深度值来代替当前CU中的所有深度值，并且不对残差进行变换编码。由于采用该模式时不需要传输残差，从而节省了一定的码率。

一个CU级的flag用来指示是否使用这种编码当年CU，如果使用这种模式，那么在重建该CU时，使用单一的深度值填充该CU。

那么使用何值来填充CU呢，首先要建立一个候选列表，候选列表中元素的个数为5个，这五个值分别取至当前CU的相邻像素值，即下图位置：

将这5个位置的像素值放入候选列表中的顺序为：Am,Bn,B0,A0,D。如果候选列表中的5个位置没有被填满，那么就使用（第一个元素值+offset）作为后面的值放入候选列表中。

分别计算使用这5个值填充当前CU后的RDCost，选择RDCost最小的作为最终的取值，在传输时只需要传输该值在候选列表中的index。

//=============JCT3V-I0095==============//

这篇提案中对“Single Depth Intra Mode”模式进行了改进。

改进的地方：

1、前一篇提案中说使用CU级的flag表示是否使用该模式。这篇提案中改为使用一个Slice级的flag来控制是否在该Slice中使用这种模式，如果Slice级的flag是enabled，那么每个CU再进一步的由一个CU级的flag控制。

2、前一篇提案中说在使用这种模式前要建立一个有5个元素的候选列表。在这篇提案中将列表的长度改为2，即只需建立一个有2个候选元素的列表。并且候选元素的位置也发生了改变，这篇提案中选取的是上面相邻边缘中间的像素和左面相邻边缘中间的像素，即图中Bn/2和An/2的位置，如图：（哎呀，图片尺寸太大了，我还不知道怎么调小）

//=============JCT3V-K0033=============//

这篇提案在“Single Depth Intra Mode”的基础上进行了改进，并给算法起了个新的名字叫做“Depth Intra Skip Mode”（DIS）。

之所以叫这个名字是因为它跟帧间的Skip模式类似，都是不传输残差，所以它也叫Skip。

这篇提案中说，即使“Single Depth Intra Mode”有很好的表现，但是这种模式引入了新的function（指的是建立候选列表以及从候选列表中选择最佳元素的过程），为了避免引入这个function并且进一步提高表现，这篇提案提出了DIS这种新的模式。

DIS模式和“Single Depth Intra Mode”主要概念上是完全相同的，不同的只是DIS模式省去了这个function的过程，利用了现有的预测模式（传统的HEVC角度预测模式中水平方向和垂直方向的预测模式）。

残差不进行压缩，并且在水平方向和垂直方向之中通过RDO选择一个较好的模式，并且传输一个flag指明使用水平还是垂直方向。

下面的几个图就说明了DIS模式和“Single Depth Intra Mode”的区别：

第一行是垂直方向预测的示例，第二行是水平方向预测的示例。

第一列是“Single Depth Intra Mode”的方法，第二列是DIS模式的方法。

从图中可以看出，对于“Single Depth Intra Mode”模式使用的是single value填充整个CU，而DIS是使用相邻边缘的像素填充（这点类似于传统的HEVC中的角度预测，只是不传编码残差）。