消失点：Fast and Accurate Vanishing Point Detection in Complex Scenes

文章中算法的大体框架如下：

首先，通过WOD获取图像的特征。然后，基于差励计算出有效的道路线索。最终，使用文中提出的line-voting scheme (LVS)检测出主消失点。

1.韦伯定律

韦伯定律是表明心理量和物理量之间关系的定律，即感觉的差别阈值跟随原来刺激量的变化而变化，而且表现为一定的规律性。它说，当一个刺激的变化(如声音，照明)小于原始刺激的常数比，它将被识别为背景噪声，而不是有效的信号。用公式来表示，就是：
$$\frac{\Delta I}{I}=k$$

其中 $I$ 为原刺激量(初始刺激强度)，$\Delta I$ 为此时的差别阈值(增量阈值)，$k$ 为常数，又称韦伯率。

1.1 WLD

由此引出了韦伯局部描述子（Weber Local Descriptor)来描述局部图像纹理特征。原始的WLD由两个部分组成：差励(differential excitation ${\xi }_{wld}$) 和 方向(${\theta }_{wld}$)。

差励部分由两项的比例计算：

1. 当前像素 $p_c$ 和它的邻域 $p_i$（$k\ast k$的内核）的相对光强差的和。
2. 当前像素的光强 $p_c$。

为了将结果限制在一个有限的区间范围内，采用了arctan函数来表达公式。因此，当前像素的差励可以计算为：
$${\xi }_{wld}\left(p_c\right)=\arctan \left(\sum _{i=1}^n\frac{\left|p_i-p_c\right|}{p_c}\right)$$

WLD的方向部分是一个梯度方向，可以快速的得到稳定的结果。Arctangent函数也可以用当前像素 $p_c$ 在 $y$ 轴方向上的差值 $d_y(p_c)$ 和在 $x$ 轴方向上的差值 $d_x(p_c)$ 的比例来计算。因此，在方向部分的差值可以计算为：
$${\theta }_{wld}\left(p_c\right)=\arctan \left(d_y\left(p_c\right)/d_x\left(p_c\right)\right)$$

1.2 WOD

虽然WLD有着小的计算复杂度，在运行速度上还算快，但是它降低了描述子的精度，因此它仅作为了消失点检测的基础。相比之下，文中设计了一款 Weber Orientation Descriptor，也由两个部分组成：更精确的差励和更精确的方向来解决文中 WLD 的缺陷。

差励的组成与之前不同，每一个相邻像素 $p_i$ 被换成了所有相邻像素的平均光强 ${\bar{p}}_i$。这样，可以减少不同内核大小带来的相邻像素个数的影响。
$$G\left(p_c\right)=\arctan \left(\frac{p_c-{\bar{p}}_i}{p_c}\right)$$

在公式中，仅考虑 $G$ 大于零的响应，因为在暗处和阴影区域的方向是不可信的。平方根函数被用在了上述函数的结果中。平方根函数的作用是：减小更大的值相对于更小的值的变化，使得差励部分对较小的值更为敏感。因此，差励被计算为：
$${\xi }_{wod}\left(p_c\right)=\{\begin{array}{ll}\sqrt{G\left(p_c\right)}& \text{ if }G\left(p_c\right)\ge 0\\ 0& \text{ if }G\left(p_c\right)<0\end{array}$$

在WLD中，方向部分仅使用到了在 $x$ 轴与 $y$ 轴方向的像素。它忽略了内核中其他像素的细节，这也许会导致在方向估计上的错误。我们使用 Gabor(加伯) filter，它可以使用内核中所有的像素，来更精准的估计在每个像素上的局部主要方向。Gabor 滤波器组是目前估计局部纹理方向的最佳滤波器之一，广泛应用于指纹分类等领域。一个二维的 $k\times k$(kernel_size) Gabor 内核 $g$，在一个特定的方向 ${\phi }_n$ 和一个径向频率 $\omega$ 下，可以表示为：
$$g_{{\phi }_n}(x,y)=e^{-\frac{1}{8{\sigma }^2}\left(4a^2+b^2\right)}\cdot \left(ia\omega -e^{c^2/2}\right)$$

该函数中，$(x,y)=(0,0)$ 为内核中心位置；$a=x\cos {\phi }_n+y\sin {\phi }_n$；$b=-x\sin {\phi }_n+y\cos {\phi }_n$；$\sigma =k/9$；$c=2.2$。

为了估计在图像中每个像素位置 $p_c$ 的主方向 ${\theta }_a(p_c)$，灰度输入图$I(p_c)$使用了36个预定义方向$(0^{\circ },5^{\circ },...175^{\circ })$的一组Gabor滤波器卷积。Gabor energy $E_{{\phi }_n}$被计算为复合滤波相应的幅值。
$$E_{{\phi }_n}\left(p_c\right)=\mathrm{Re}{\left({\hat{I}}_{{\phi }_n}\left(p_c\right)\right)}^2+\mathrm{Im}{\left({\hat{I}}_{{\phi }_n}\left(p_c\right)\right)}^2$$

其中 ${\hat{I}}_{{\phi }_n}\left(p_c\right)=I\left(p_c\right)\otimes g_{{\phi }_n}$ 且 $\otimes$ 代表卷积算子。卷积结果${\hat{I}}_{{\phi }_n}\left(p_c\right)$由两部分组成，一个实部 $Re$ 和一个虚部 $Im$。因此我们计算复合响应的平方范数来获得稳定的局部纹理特性。

最终，滤波器给出最大复合相应的方向，被选为了实际方向，即：
$${\theta }_{wod}\left(p_c\right)={\mathrm{Argmax}}_{{\phi }_n}{E}_{{\phi }_n}\left(p_c\right)$$

算法实现

获得WOD

给定一个输入图像，首先使用中值滤波卷积来降低噪声和图像缺陷。图像被转换成了灰度空间，${\xi }_{wod}$ 和 ${\theta }_{wod}$ 将通过WOD模型获得。

一个比较重要的需要考虑的点是如何在WOD中设定内核大小 $k$ 的值。更大的 $k$ 值可以让更多的纹理信息被考虑，但会使结果缺少局部代表性。

提取道路线索区域

根据韦伯定律，任何有效区域仅当差励大于一个固定的比率 $T$ 时才值得注意，而更小的被当成了背景噪声。减小背景噪声的效果可以提高模型的精度。更多的道路线索，能得到更准确的结果。因此，$T$ 需要被设置的足够小。

LVS获得消失点

在完成了上述的步骤之后，可以为图像区域的消失点投票。投票的方案有：hard-voting scheme, soft-voting scheme, weighting-voting scheme。文中提出了line-voting scheme（讲道理，这个时间复杂度有点长（等等，我可以试试，累加器只用中间特别小的一部分，因为消失点的上下浮动区域会特别小））。

首先，构建一个与图片大小相同的累加器空间，将值均设为0。然后，有效区域内的每一个像素都可以被看成一个 voter，如果候选消失点在它的位置和方向的线上，所对应的累加器位置值增加1。最终，累加器值最大的位置被选定为所估计的消失点。