论文阅读笔记--Stereoscopic Thumbnail Creation via Efficient Stereo Saliency Detection-2017

1.介绍

2.相关工作

3.提出的方法

3.1立体显著性检测

3.1.1 基于视差和边缘的显著性

边缘组成了一种重要的显著性刺激。

作者观察到，视差的边缘可以揭示闭塞边界的位置，这个位置通常也是对应着物体的物理边界。

边缘和视差边界提供了补充信息。

边缘精确地勾勒出对象轮廓。但是，它们通常过于密集，并且出现在对象内部。相反，由于视差估计中的误差，视差边界通常不覆盖整个对象边界，而是相对稀疏并且能够忽略不必要的细节。

这些观察促使我们将这两种线索整合在一起进行立体显著性检测。

视差图 $D$, $▽D$是视差图的梯度图， $\Phi (\cdot )$ 是膨胀操作， $E_k$ 是边缘概率图。 因此边缘概率图和视差图相结合成视差-边缘图（disparity-edge map):
$${\hat{E}}_k=\Phi (E_k\cdot (\lambda +\Phi (▽D)))...........................(1)$$

接着作者对视差-边缘图 ${\hat{E}}_k$ 进行梯度流（gradient flow）操作, 以此来识别立体图像中视觉上重要的区域。

梯度流从图像的四个边中的一个开始，到另一侧结束，如图2e中所示,

一个大小为 $m\times n$ 的图像的从左边边缘到右边边缘的梯度流 $F^l$ 定义为：
F l = { ( i , j ) } j = 1 n , 1 ≤ i ≤ m ( 2 ) \begin{matrix} F^l = \{(i,j)\}_{j=1}^n, & 1\leq i\leq m & (2) \end{matrix} Fl={ (i,j)}j=1n​,​1≤i≤m​(2)​
一个 从左到右的梯度流 $F^l$ 遍历某一行的所有像素。同理，一个从右到左的梯度流 $F^r$, 一个从上到下的梯度流 $F^t$ 和一个从底到顶的梯度流 $F^d$ 定义如下：
F r = { ( i , n − j + 1 ) } j = 1 n , 1 ≤ i ≤ m F t = { ( i , j ) } i = 1 m , 1 ≤ j ≤ n ( 3 ) F d = { ( m − i + 1 , j ) } i = 1 m , 1 ≤ j ≤ n \begin{matrix} F^r = \{(i,n-j+1)\}_{j=1}^n, & 1\leq i\leq m & \\ & & \\ F^t = \{(i,j)\}_{i=1}^m, & 1\leq j\leq n & (3)\\ & & \\ F^d = \{(m-i+1,j)\}_{i=1}^m, & 1\leq j\leq n & \end{matrix} Fr={ (i,n−j+1)}j=1n​,Ft={ (i,j)}i=1m​,Fd={ (m−i+1,j)}i=1m​,​1≤i≤m1≤j≤n1≤j≤n​(3)​
在 $x=(x,y)$ 处的梯度流的大小是由视差-边缘值 ${\hat{E}}_k(x)$和前 $t$ 个梯度流中最小值的总和计算的。拿梯度流 $F^l$作为例子， 在视差-边缘图 ${\hat{E}}_k$中，$x$处的 $F^l$ 大小记为 $V_k(x)$ , 它递归地定义为：
$$\begin{array}{ccc}{V}_k^l(x)=& {\hat{E}}_k(x)+min(V_k^l((x-t,y-1)),......,& (4)\\ & & \\ & V_k^l((x,y-1)),......,V{k}^l((x+t,y-1))).& \end{array}$$
其中 $t$ 通常设置为2。可以观察到，当梯度流F遍历视差边缘图时，流的值增大。关于梯度流更多信息可以看文章[42].

[42] W. Wang, J. Shen, and L. Shao, “Consistent video saliency using local gradient flow optimization and global refinement,” IEEE Trans. Image Process., vol. 24, no. 11, pp. 4185–4196, Nov. 2015.

通过梯度流的计算，我们估计了一个图像 $I_k$ 在像素 $x$ 处的初始的显著性值 $A_k(x)$：
A k ( x ) = m i n ( V k l ( x ) , V k r ( x ) , V k t ( x ) , V k d ( x ) ) . . . . . . . . . . . . . . . . . .