简单总结“SAMPLE EDGE OFFSET COMPENSATION FOR HEVC BASED 3D VIDEO CODING”

来源：ICMEW

作者：Qin Yu , Ying Chen, Li Zhang, Siwei Ma

分部要点：

摘要

1.目的：改善重建深度图的质量，特别是边界区域

2.方法：提出一个 in-loop SEOC（sample edge offset compensation）框架，作用于重建之后，通过识别每一个边界像素，enhancing it of the full depth image with values coded in the
bitstream.

3.效果：和3D-HEVC相比，节省6%码率

一.介绍

1.增强重建深度质量的两类方法：a）去除块失真，如去块滤波器  b）保留边界，如双边或三边滤波器

2.深度图质量高并不意味着合成视图质量也高，因为如DIBR技术对深度边界敏感，而传统的基于块的深度编码技术对边界并不能进行很好的保留

3.SEOC包括两个补偿模式：a）自适应深度边界滤波（ADEF） b）采样边界补偿（SEO）.（可考虑HEVC自带的三种滤波器作为参考）

4.ADEF：像素只基于临近采样值滤波，SEO：偏移采用DLT压缩并且准确传输添加到相关重建采样值中

5.选用ADEF还是SEO：LCU级别通过VSO选择

6.LCU层级、帧层级判断也考虑以实现更好的率失真控制

二.深度图编码

1.使用传统彩色图压缩深度图效率不高：比如由于深度图不连续，编码会有冗余

2.DLT：编码端，动态DLT 创建通过分析一定数目的输入视频，并被采用于编码过程以减少残差信号的比特深度（3D-HEVC test model里有详细介绍）

3.VSO：重点SVDC（3D-HEVC test model里有详细介绍）

三.SEOC框架

1.如果当前深度像素对应的纹理区域水平方向是平滑的，那么深度图中失真也许并不会引起合成视图大的失真，相反，若水平方向像素值波动明显，深度图中细小的失真都可能会引起合成视图大的失真。

   这也就是说只有在 strong vertical edge周围的失真将引起合成视图的质量退化

2.重点：保留深度不连续 深度压缩失真会带来边界的振铃伪影

3.滤波器选择与否通过两个级别的模式判断决定：LCU-level 和Frame-level（不知道能否考虑在slice-level？）
4.在 LCU级别, 通过计算RDcost自适应选择SEO、ADEF和不滤波模式。在帧级别 ，这些LCU的RDcosts累加以决定当前帧是否需要用SEOC处理（如果RDcost的和小于0，则采用SEOC，否则跳过该帧所有的LCU边界处理过程）

@自适应深度边界滤波

A.检测当前深度LCU中的边界：判断当前LCU中每个像素邻域窗口（5*5）内像素最大值和最小值的绝对差，和阈值比较，大于阈值作为边界像素，小于作为平滑像素

B.对LCU中边界像素进行滤波：

                1.计算边界像素5*5邻域窗口中像素平均深度值

                2.窗口内像素根据是否大于深度平均值分为两部分

                3.计算每一部分的深度平均值

                4.在每一部分内分别找到一个代表像素，代表像素要求其深度值和该部分深度平均值绝对差最小

                5.这两个代表像素哪个和边界像素像素值更接近就选哪个作为滤波值

@SEO

A.边界检测：Sobel算子检测垂直边界

                1.公式（11）结果E由于标定边界强度，如果一个像素的E大于一个阈值，则认为该像素为边界像素

                2.边界像素和其给定范围内的其他像素同样被考虑并被标定以进一步处理

B.边界像素分类和偏移补偿

                1.分四类：首先两大类，根据是否大于被标定的像素的平均值区分，每一大类，进一步分别分成两类（具体方法没说，猜测如同第一次分类方法）

                2.对每一类：计算原始深度平均值和重建深度平均值的差值，差值（offset）被识别并传输到解码端，并采用DLT节省编码比特

@RDO

1.对于LCU采用ADEF模式还是SEO模式取决于谁的RD代价更小

2.第一步决定的模式的RD代价再和不采用滤波器的的RD代价比较，谁小选谁

3.累加一帧最佳RDcost，如小于0 ，则该帧采用滤波器

四.实验结果