文献阅读笔记【4】：采用 Ｕ-Net卷积网络的桥梁裂缝检测方法

• 论文 | 采用 Ｕ-Net卷积网络的桥梁裂缝检测方法
• 作者 | 朱苏雅等人
• 期刊 | 西安电子科技大学学报
• 时间 | 2019年8月

---

该文章中先使用U-net分割出图像中的裂缝，再将图像中存在的背景杂波和伪裂缝去除，最后进行宽度测量。

1. U-net网络

• U-net网络主要于图像分割问题：
  参考 U-Net网络详解
  

• 网络结构：
  由一个收缩路径（左侧）和一个扩展路径（右侧）组成。
  收缩路径遵循卷积网络的典型架构。它由两个3x3卷积（未填充卷积）的重复应用组成，每个卷积后跟一个整流线性单位（ReLU）和一个步长为2的2x2 maxpool操作进行下采样，每个下采样步骤中特征通道数量翻倍。
  扩展路径中的每个步骤都包括对特征图进行上采样，然后是将特征通道数量减半的2x2卷积（“向上卷积”），与来自收缩路径的相应裁剪的特征图的串联以及两个3x3卷积，每个后跟一个ReLU。由于每次卷积中都会丢失边界像素，因此有必要进行裁剪。在最后一层，使用1x1卷积将每个64分量特征向量映射到所需的类数。该网络总共有23个卷积层。

• 关于skip叠加结构：
  

• 应用优势：
  左侧收缩路径通过不断卷积提取图像特征，池化减少网络参数。丢失细节（分辨率），右侧通过反卷积将图像恢复到输入图像大小，之后利用复制叠加的方式将左侧与右侧串联起来，即可以保留逐步池化过程中丢失的网络参数和细节。

• 存在问题：
  经过卷积池化+裁剪，输出图片小于输入图片，可以使用padding填充，使得输入图片大小等于输出图片大小。

• 文中的模型：
  输入网络：10000张尺寸为160×160的裂缝样本图像和人工标注的裂缝标签图像；
  

2.对裂缝粗提取进行优化和后续操作

1. 获得粗提取图像
   

2. 去除杂波
   提取单像素裂缝骨架，然后基于八方向搜索法统计裂缝点的像素数量作为该段裂缝的长度，通过预先设置的阈值来删除长度较短的杂波和伪裂缝，保留较长的裂缝部分。
   

3. 连接断裂裂缝
   最小生成树（迪杰斯特拉）算法进行连接，根据长度阈值去除伪裂缝。

5. 根据骨架提取裂缝图像（此步骤原论文省略，不知用了什么方法）
   

6. 使用裂缝骨架图和八方向搜索法测量裂缝宽度。

Comment:
此方法可以实现像素级分割，利用浅层特征和深层特征融合的方式最大程度的保留了原图像的细节信息。但是文中并未具体描述如何区分图像有无裂缝的问题，这无疑增大了计算量，我认为可以先用神经网络分类出含有裂缝的小尺寸图像，再将含有裂缝的小尺寸图像放入U-net进行分割提取裂缝，后续的裂缝修复和背景杂波去除也许就容易的多。可结合 [文献阅读笔记【3】：基于计算机视觉技术的结构表面裂缝检测方法研究] 做一下改进。