一种基于Canny算子的深度学习图像边缘强化方法

《黄昏禁忌之药》全线通关！

公司项目，已申请专利

深度学习作为新兴技术在图像领域蓬勃发展，因其自主学习图像数据特征避免了人工设计算法的繁琐，精准的检测性能、高效的检测效率以及对各种不同类型的图像任务都有比较好的泛化性能，使得深度学习技术在图像领域得到广泛应用，包括图像检测、图像分类、图像重构等。

图像边缘检测作为图像样本的基本处理流程，在图像领域有着十分重要的地位，在深度学习图像处理中，图像边缘信息是整张图像特征信息的关键部分，在神经网络对图像特征提取方面有着不可替代的作用。而深度学习方法在对图像边缘信息的提取和强化方面做的并不尽如人意，使得整个神经网络对于图像特征的处理难度加大。

在图像边缘检测识别方面，传统图像处理方法有着较为成熟的方案，其中更以Canny算子的效果最好。

本专利将传统算法中成熟的图像边缘检测强化方法融合到深度学习中，加强图像的边缘特征，引入图像边缘信息，便于神经网络更好地提取图像特征，便于后续处理。

本专利提出了一种基于传统图像边缘检测算法Canny的深度学习图像边缘特征强化方案，通过在神经网络中图像特征提取的各个不同阶段同时引入Canny算子并通过差分处理，将图像各个特征阶段边缘信息加以强化突出，使得神经网络在做图像特征提取的各个不同阶段都能得到对应的图像边缘信息，最后再将各层的边缘信息叠加融合，得到更加全面整体的图像边缘信息，能更好地把握图像的整体信息。

目录：

1.Canny算子

2.图像边缘强化神经网络结构

3.改变特征大小及通道数的卷积块

4.不改变特征大小及通道数的卷积块

Canny算子

Canny边缘检测是一种非常流行的边缘检测算法，是John Canny在1986年提出的。它是一个多阶段的算法，即由多个步骤构成：

1. 应用高斯滤波来平滑图像，目的是去除噪声
2. 找寻图像的强度梯度（intensity gradients）
3. 应用非最大抑制（non-maximum suppression）技术来消除边误检
4. 应用双阈值的方法来决定可能的（潜在的）边界
5. 利用滞后技术来跟踪边界

高斯平滑滤波

滤波是为了去除噪声，选用高斯滤波也是因为在众多噪声滤波器中，高斯表现最好一个，大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

计算梯度大小和方向

对于一张图片来说，梯度能很好地反映其像素的变化情况，而梯度变化越大，说明相邻像素之间存在着较大差异，放大到整张图片来说，就是在某一块区域存在边缘，从视觉上来说就是用黑到白(灰度图片读入)。梯度的计算分为大小和方向，首先需要求出各个方向上的梯度，然后求平方根和切线。以下是x、y方向上梯度的计算方式：

非极大抑制

a) 将其梯度方向近似为以下值中的一个[0,45,90,135,180,225,270,315]（即上下左右和45度方向）这一步是为了方便使用梯度；

b) 比较该像素点，和其梯度方向正负方向的像素点的梯度强度，这里比较的范围一般为像素点的八邻域；

c) 如果该像素点梯度强度最大则保留，否则抑制(删除，即置为0)；

双阈值(Double Thresholding)和滞后边界跟踪

经过非极大抑制后图像中仍然有很多噪声点。Canny算法中应用了一种叫双阈值的技术。即设定一个阈值上界和阈值下界图像中的像素点如果大于阈值上界则认为必然是边界（称为强边界，strong edge），小于阈值下界则认为必然不是边界，两者之间的则认为是候选项（称为弱边界，weak edge），需进行进一步处理。我查阅资料，了解到上界一般是下界的2-3倍，实现出来的效果比较好。

基于Canny算子的图像边缘强化神经网络

本专利使用特征金字塔结构对图像进行不同层次的特征提取，在每个特征提取阶段都进行Canny算子操作，并通过差分操作强化该层图像特征的边缘信息，将图像边缘信息更好地加入到整体图像特征信息中，通过特征分层以及融合，强化每一层特征的边缘信息，并整合成图像整体边缘特征，融入到整个图像的特征信息中，使得图像特征信息更加全面。

图像边缘强化神经网络结构

输入特征图F1经过4个卷积块生成4个分层特征(F2-F5)，每个分层特征大小为前一层的一半，通道是前一层的两倍，F5特征层进过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D5。

D5进过双线性插值得到R5，使得特征大小尺寸和F4相同，R5再和F4按特征通道进行叠加，再进过一个1×1卷积块进行通道间特征融合，之后进过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D4。

D4和R5进行特征值相加，然后经过双线性插值得到R4，使得特征大小尺寸和F3相同，再和F3按特征通道进行叠加，再进过一个1×1卷积块进行通道间特征融合，之后进过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D3。

D3和R4进行特征值相加，然后经过双线性插值得到R3，使得特征大小尺寸和F2相同，再和F2按特征通道进行叠加，再进过一个1×1卷积块进行通道间特征融合，之后进过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D2。

D2和R3进行特征值相加，然后经过双线性插值得到R2，使得特征大小尺寸和F1相同，再和F1按特征通道进行叠加，再进过一个1×1卷积块进行通道间特征融合，之后进过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D1。

D1和R2进行特征值相加得到R1。

改变特征大小及通道数的卷积块

 使用3×3卷积进行特征提取，使得输入特征图尺寸减半通道数加倍。

不改变特征大小及通道数的卷积块

使用1×1卷积进行特征的通道融合，使得输入特征图尺寸以及通道数不便。

本专利图像边缘信息强化神经网络，可以直接加入到任何的神经网络而不造成神经网络结构或参数的变化，并且可以在整个神经网络中多次使用。