边缘检测之canny

Canny边缘检测算法可以分为5个步骤：
一：使用高斯滤波器，平滑图像，滤除噪声
1）噪声表现形式
噪声在图像上常表现为一引起超强视觉效果的孤立像素点或像素块。一般，噪声信号与要研究的对象不相关，它以无用的信息形式出现，扰乱图像的可观测信息。
2）噪声对数字图像的影响
对于数字图像信号，噪声表现为或大或小的极值，这些极值通过加减作用于图像像素的真实灰度值上，对图像造成亮、暗点干扰，极大降低了图像质量，影响图像复原、分割、特征提取、图像识别等后继工作的进行。
3）高斯滤波
原理：与均值滤波器类似，都是取滤波器窗口内的像素的均值作为输出。其窗口模板的系数和均值滤波器不同，均值滤波器的模板系数都是1,而高斯滤波器的模板系数，则随着距离模板中心的增大而系数减小。所以，高斯滤波器相比于均值滤波器对图像的模糊程度较小。
二维高斯函数：

其中，（x，y）为点坐标，在图像处理中可认为是整数，σ是标准差。要想得到一个高斯滤波器的模板，可以对高斯函数进行离散化，得到的高斯函数值作为模板的系数。例如：要产生一个33的高斯滤波器模板，以模板的中心位置为坐标原点采样。模板在各个位置的坐标，如下所示：其中i轴（和x轴位置相同）水平向右，j轴（和y轴反方向）竖直向下。

这样，将各个位置的坐标带入到高斯函数中，得到的值就是模板的系数。
二维高斯函数（中心为原点）：

其中：33窗口模板的均值为0，为了计算，需要设定标准差的值，假设σ为1.5

再通过上面的高斯公式，可以计算出权重矩阵如下：

这9个点的权重总和等于0.4787147，如果只计算这9个点的加权平均，还必须让它们的权重之和等于1，因此上面9个值还要分别除以0.4787147，得到最终的权重矩阵：

有了权重矩阵，就可以计算高斯模糊的值了。
例子：假设现有9个像素点，灰度值（0-255）如下：

每个点乘以自己的权重值：

得到

将这9个值加起来，就是中心点的高斯模糊的值。

中心点以及周边n个点，每个点乘以自己的权重值并将这些值相加，就是中心点的高斯模糊的值。对所有点重复这个过程，就得到了高斯模糊后的图像。
如果原图是彩色图片，可以对RGB三个通道分别做高斯模糊。
对于边界点来说，周边没有足够的点，一个变通方法是把已有的点拷贝到另一面的对应位置，模拟出完整的矩阵。
原图像和高斯滤波处理后的图像如下所示：

二：计算图像中每个像素点的梯度强度和方向
图像中的边缘可以指向各个方向，因此Canny算法使用四个算子来检测图像中的水平、垂直和对角边缘。边缘检测的算子（如Roberts，Prewitt，Sobel等）返回水平Gx和垂直Gy方向的一阶导数值，由此便可以确定像素点的梯度G和方向theta 。

其中G为梯度强度， theta表示梯度方向，arctan为反正切函数。下面以Sobel算子为例讲述如何计算梯度强度和方向。
x和y方向的Sobel算子分别为：

其中Sx表示x方向的Sobel算子，用于检测y方向的边缘； Sy表示y方向的Sobel算子，用于检测x方向的边缘（边缘方向和梯度方向垂直）。在直角坐标系中，Sobel算子的方向如下图所示。

图3-1 Sobel算子的方向
若图像中一个3x3的窗口为A，要计算梯度的像素点为e，则和Sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：

其中*为卷积符号，sum表示矩阵中所有元素相加求和。根据公式（3-2）便可以计算出像素点e的梯度和方向。
根据梯度G公式，当上下或左右像素值差别过大时（不论上大下小还是上小下大，因为G公式是根号下平方的形式），G很大，像素范围为0-255，越接近255，越趋近于白色。
处理后图像如下：

三：应用非极大值抑制，以消除边缘检测带来的杂散效应
非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦"边。在对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊，对于标准3：对边缘有且应当只有一个准确的响应。而非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0（黑色），对梯度图像中每个像素进行非极大值抑制的算法是：
1）将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较
2）如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制
见下图：

上图中左右图：g1、g2、g3、g4都代表像素点，很明显它们是c的八领域中的4个，左图中c点是我们需要判断的点，蓝色的直线是它的梯度方向，也就是说c要是局部极大值，它的梯度幅值M需要大于直线与g1g2和g2g3的交点，dtmp1和dtmp2处的梯度幅值。但是dtmp1和dtmp2不是整像素，而是亚像素，也就是坐标是浮点的，那怎么求它们的梯度幅值呢？线性插值，例如dtmp1在g1、g2之间，g1、g2的幅值都知道，我们只要知道dtmp1在g1、g2之间的比例，就能得到它的梯度幅值，而比例是可以靠夹角计算出来的，夹角又是梯度的方向。

写个线性插值的公式：设g1的幅值M(g1)，g2的幅值M(g2),则dtmp1可以很得到：

    M(dtmp1)=w*M(g2)+(1-w)*M(g1)  

   其中w=distance(dtmp1,g2)/distance(g1,g2)      

distance(g1,g2) 表示两点之间的距离。实际上w是一个比例系数，这个比例系数可以通过梯度方向(幅角的正切和余切)得到。

右边图中的4个直线就是4个不同的情况，情况不同，g1、g2、g3、g4代表c的八领域中的4个坐标会有所差异，但是线性插值的原理都是一致的。

下图是非最大值抑制的结果。可见边缘宽度已经大大减小。但是这个图像中因为没有应用任何阈值，还含有大量小梯度模值的点，也就是图中很暗的地方。下面，阈值要上场了。

四：应用双阈值检测来确定真实的和潜在的边缘
一般的边缘检测算法用一个阈值来滤除噪声或颜色变化引起的小的梯度值，而保留大的梯度值。Canny算法应用双阈值，即一个高阈值和一个低阈值来区分边缘像素。如果边缘像素点梯度值大于高阈值，则被认为是强边缘点。如果边缘梯度值小于高阈值，大于低阈值，则标记为弱边缘点。小于低阈值的点则被抑制掉。

五：通过抑制孤立的弱边缘最终完成边缘检测
强边缘点可以认为是真的边缘。弱边缘点则可能是真的边缘，也可能是噪声或颜色变化引起的。为得到精确的结果，后者引起的弱边缘点应该去掉。通常认为真实边缘引起的弱边缘点和强边缘点是连通的，而又噪声引起的弱边缘点则不会。所谓的滞后边界跟踪算法检查一个弱边缘点的8连通领域像素，只要有强边缘点存在，那么这个弱边缘点被认为是真是边缘保留下来。

这个算法搜索所有连通的弱边缘，如果一条连通的弱边缘的任何一个点和强边缘点连通，则保留这条弱边缘，否则抑制这条弱边缘。搜索时可以用广度优先或者深度优先算法，我在这里实现了应该是最容易的深度优先算法。一次连通一条边缘的深度优先算法如下：

准备一个栈s，一个队列q，设联通指示变量connected为假。从图像的第一个点开始，进入2。
如果这个点是弱边界点并且没有被标记，把它标记，并把它作为第一个元素放入栈s中，同时把它放入记录连通曲线的队列q，进入3。如果这个点不是弱边界或者已经被标记过，到图像的下一个点，重复2。
从栈s中取出一个元素，查找它的8像素领域。如果一个领域像素是弱边界并且没有被标记过，把这个领域像素标记，并加入栈s中，同时加入队列q。同时查找领域对应的强边界图，如果有一个像素是强边界，表示这条弱边界曲线和强边界联通，设置connected为真。重复3直到栈中没有元素了。如果connected为假，则依次从队列q中取出每个元素，清空标记。如果connected为真，保留标记。
清空队列q，设置connected为假，移动到图像的下一个点，到2。

参考链接:
https://www.jianshu.com/p/73e6ccbd8f3f
https://www.cnblogs.com/techyan1990/p/7291771.html
https://blog.csdn.net/fengye2two/article/details/79190759