数字图像处理：霍夫变换(Hough Transform)

直线检测

图像空间的直线可以在霍夫空间中表示为一个点，同样的，图像空间的点可以在霍夫空间表示为一条直线。而图像空间多个点在霍夫空间就表示为多条直线。

观察上图发现，如果在图像空间中的点共线，那么在霍夫空间中对应的直线将相交，交点即为图像空间中直线的斜率$k$和截距$q$。

当在图像空间中存在多个直线时，那么在霍夫空间就会有多个交点。采用投票方法计算交点得票(处理误差可使用NMS)，当得票大于给定阈值，则认为在图像空间中检测到直线。

但是使用斜距式表示直线存在缺点：当直线存在$x$轴时，斜率$\infty$

所以采用极坐标表示

其中$\rho >0$

两种方法对比：

以上图片来自博文:霍夫变换

圆检测

类比直线检测，直线需要2个参数表示，而圆需要3个参数，圆心$(a,b)$和半径$r$。
我们先假设已经确定$r$，那么在图像空间中圆上的点$p$，在霍夫空间中得到以$p$圆心，半径为$r$的圆，那么这些圆相交次数最多的点即为圆心。

以上图片来视频：How Circle Hough Transform works

但是半径$r$如果不确定，搜索半径将会增加一个指数的复杂度，应用价值不高。这种方法又被称为：标准霍夫圆变换。

在OpenCV中使用的是霍夫梯度法，其核心思想是：求圆心和半径

求圆心：
图像空间中圆上的点的梯度方向(下面会解释)会相交于一点，这一点即为圆心

点$f$的梯度为：

$$\nabla f={\left[\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right]}^T$$

求偏导使用sober算子：

分别计算x和y上的偏导。
和直线检测一样，梯度向量相交最多的点作为圆心：

求半径：在求得圆心后，计算图像空间中圆上的点到各个圆心的距离，对距离进行投票，投票最多的则为这个圆心对应的半径
在求得半径后，搜索空间降为2。

以上图片来视频：3.2 hough circle(霍夫圆变换)

PClines检测直线

论文：PClines – Line Detection Using Parallel Coordinates Brno University of Technology(CVPR 2011)

PClines中的PC表示为Parallel coordinates，Parallel coordinates是为了可视化表示高维数据，列如5维空间中的一个点$C(C_1,C_2,C_3,C_4,C_5)$，表示为一条折线(4(=5-1)条直线组成)：

笛卡尔坐标系中用齐次坐标表示点$(x,y,w)$，以此表示无限远的点$(1,1,0)=(\infty ,\infty ,0)$

若点共线，这在$p$空间(PC空间)中直线会相交于点$\bar{\ell }$表示$c$空间(笛卡尔坐标系空间，图像空间)中直线$\ell$：

$x^{\prime }$和$y^{\prime }$的中间距离为$d$

这一过程和截距参数，极坐标参数的霍夫变换映射一样点到线和线到点，不过变换参数不一样：

[]表示的是点，()表示的是直线

点($c$)->线($p$)：
$${\mathcal{S}}_d^p([x,y,w])=(-x+y,-dw,dx)$$

图像空间中一点(x/w, y/w,1)在ST空间表示为2点(0,x/w)和(d,y/w)。两点式带入。

线($c$)->点($p$)：
$${\mathcal{S}}_d^l((a,b,c))=[db,-c,a+b]$$

图像中的直线抽取2个点，在ST空间表示2条直线，2直线必然相交，交点即为所求。

当在$c$空间中直线的斜率>0，那么在$p$空间中的有限的$x^{\prime },y^{\prime }$区间是无法得到交点。所以使用$T$表示：

综上，$p$空间由$S，T$组成。且表示的有限空间：
$$\begin{array}{rl}-d& \le u\le d\\ -\max \left(\frac{W}{2},\frac{H}{2}\right)& \le v\le \max \left(\frac{W}{2},\frac{H}{2}\right)\end{array}$$
检测直线示例：

CHT+PClines消失点检测

论文：Real Projective Plane Mapping for Detection of Orthogonal Vanishing Points(BMVC 2013)

CHT(Cascaded Hough Transform)，级联霍夫变换，顾名思义就是在进行一次霍夫变换后再进行霍夫变换。

借鉴CHT实现，进行两次变换，分别是是$c{\to }^{S_d}{p}_d{\to }^{S_D}{p}_D$综合起来就是$c{\to }^{{SS}_{dD}}{p}_D$。
之前提到$S$对应的还有一个变换是$T$，那么$ST$可以有4种组合：
$$\begin{array}{rl}S{S}_{dD}^p([x,y,w])& =\left(S_D^l\circ S_d^p\right)([x,y,w])=[-dDw,-dx,-x+y-dw]\\ S{T}_{dD}^p([x,y,w])& =\left(S_D^l\circ T_d^p\right)([x,y,w])=[-dDw,-dx,-x+y+dw]\\ T{S}_{dD}^p([x,y,w])& =\left(T_D^l\circ S_d^p\right)([x,y,w])=[-dDw,-dx,x+y-dw]\\ T{T}_{dD}^p([x,y,w])& =\left(T_D^l\circ T_d^p\right)([x,y,w])=[-dDw,-dx,x+y+dw]\end{array}$$
在$c$空间中，对于不同象限的点对应不同$ST$组合，转到$p_D$空间后，可以得到有限三角形区域：

列如在$c$空间第4象限的点：$P=[x,y,1],x\ge 0,y\le 0$，在$p_D$空间表示为${\mathcal{S}\mathcal{S}}_{dD}^p(P)=[-dD,-dx,-x+y-d]$，又因为：
$$\begin{array}{rl}d,D>0,x\ge 0& \Rightarrow -dD<0,-dx\le 0\\ x\ge 0,y\le 0,d>0& \Rightarrow -x+y-d<0\\ & \Rightarrow \frac{-dD}{-x+y-d}>0\\ & \Rightarrow \frac{-dx}{-x+y-d}\ge 0\end{array}$$
所以在$p_D$空间表示为第1象限的点，同时可以证明有边界${\ell }_b=(d,D,-dD)$：
$$(d,D,-dD)\cdot \left[\frac{-dD}{-x+y-d},\frac{-dx}{-x+y-d},1\right]=\frac{-dDy}{-x+y-d}\le 0$$
在$c$空间的直线$(a,b,c{)}_c$在$p_D$空间表示为:
$$\begin{array}{l}\alpha =\mathrm{sgn}(ab),\beta =\mathrm{sgn}(bc),\gamma =\mathrm{sgn}(ac)\\ (a,b,c{)}_c\to \left[\frac{\alpha a}{c+\gamma a},\frac{-\alpha c}{c+\gamma a}\right],\left[\frac{b}{c+\beta b},0\right],\left[0,\frac{b}{a+\alpha b}\right],\left[\frac{-\alpha a}{c+\gamma a},\frac{\alpha c}{c+\gamma a}\right]\end{array}$$

检测消失点示例：

因此该方法相比以往先检测直线再基于检测到直线检测消失点的2步方法少了对直线进行处理的步骤。

注意：对于在2D图像上检测到消失点还需要在3D空间中进行正交处理。