关于Bit Depth SVC

http://forum.byr.edu.cn/pc/pccon.php?id=1727&nid=78186&order=&tid=1329

CSVT上又有一篇Yuwen Wu的关于bit depth SVC的文章了，大致浏览了一遍感觉没啥新东西，还是那些文字翻来覆去的。写篇总结复习一下看过的bit depth SVC，免得过段时间又忘干净了。

Bit depth scalability是在H.264/SVC在完成phase1后，提出的后续的phase2的需求（此外还包括FGS，色度采样分级和颜色空间分级）。为不失一般性，通常用BL为8bit，EL为10bit来讨论。Bit depth SVC目前最主要的贡献来自于两方面，一是HHI，另一是Thomson，以下分别简介。

1. HHI
Schwarz, Wiegand等人在07年做了一部分Bit depth SVC的工作，参见论文 Bit-depth Scalable Video Coding（ICIP07）和相应JVT提案（记不清提案号了-__-）。提出了如下的框架：

 

很容易看出，HHI的inter layer prediction框架非常简单，一句话就能说明白，即用BL的重构信号来得到EL的预测信号（spatial domain prediction）。关键的问题在于如何将8bit的重构样值转化为10bit，事实上这个话题并不是什么新东西，在图像处理领域已有tone mapping技术（高bit depth图像向低bit depth图像映射）的研究，因此这里HHI采用了所谓的inverse tone mapping。一共有三种inverse tone mapping被使用，可以在PPS中加入语法元素来选择使用哪一种。这三种技术为：
a. linear scaling: 就是最简单的将8bit样值左移2位，得到10bit数据。等价于10bit depth样值的低2位为0；
b. linear interpolation: 通过已有的8bit-10bit样值对应关系，做线性插值求出当前8bit对应的10bit数值；
c. look up table mapping: 用现成的表（用SEI传输）查表做映射。

HHI的结构简单的同时存在着缺陷，最明显的问题就是没有满足single loop constraint，BL必须完全解码得到重构样值才能对EL做预测。


2. Thomson
Yuwen Wu等人在Bit depth SVC做了很多工作，具体参见Bit-depth scalability compatible to H.264/AVC-scalable extension（JVCI）和H.264/Advanced Video Coding (AVC) Backward-Compatible Bit-Depth Scalable Coding（CSVT）以及相应JVT提案。相对于HHI，Thomson基本上将现有spatial SVC三种inter layer prediction都扩展到了bit depth SVC中。

左图为intra MB的方法，类似于HHI的方法用8bit重构样值做EL预测，当然这是符合single loop constraint的。右图为inter MB的情形，显然与inter-layer motion prediction和inter-layer residual prediction十分吻合。Thomson方案的另一优点是能够实现MB level的自适应，EL的MB既可以采用层间预测也可以使用层内预测。一切都与spatial SVC十分类似。

在文献中，Thomson做了一些定量的研究工作，来验证这样的方案（主要是residual prediction）是否是有效的。最终的结论是bit-depth SVC的层间预测与spatial SVC是基本有效的。详细的推导请看paper。



3. 其它
在icassp上有篇文章“创造性”的提出了用高bit depth做BL，低bit depth做EL的方案。。。
intel在JVT也有过一个提案，类似于HHI的方法，采用了Wiener Filter做inverse tone mapping。

总结
目前Bit depth SVC现有的这些技术在压缩效率上仍不能令人满意。而研究也处于停滞，一方面由于没有什么新的idea涌现，另一方面是JVT本身陷入拆分门而放缓了很多工作。不瞎猜了。