多融合U-Net网络的像素级路面封闭裂缝自动检测

本人小白，写博客是为了记录学习笔记，也为了和各位大佬交流，如果文中出现错误，希望各位指正，本人不胜感激！

论文题目：Automatic Pixel-level pavement sealed crack detection using Multi-fusion U-Net network

论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0263224123000398

摘要：

提出了基于U-Net的多融合U-Net网络，实现了密封裂纹的像素级检测。多融合模块，双重注意机制，和Atrous空间金字塔池（ASPP）的设计，以有效地捕捉密封裂缝的细节。3163图像集分为训练、验证和测试数据集。训练数据由2463个图像集组成。在训练过程中，多融合U-Net的性能优于U-Net和DANet。测试实验结果表明，在200幅测试图像上，多融合U-Net的F-测度和IOU分别为84.36%和72.95%。与七种最先进的模型（即，DANet，MACSNet，U-Net，SegNet，DeepLabV 3+，PSPNet，SegFormer），所提出的网络在200个测试图像上表现出更高的检测精度。所有网络处理图像的平均时间为49.78毫秒/帧，而所提出的网络处理图像的时间为57毫秒/帧。密封裂纹的实时检测是可行的。

文章贡献：

• 在U-Net结构中引入双注意机制模块，实现空间特征与通道特征的信息交互，有效地捕捉全局依赖关系和长距离背景信息；
• 提出了一种新的多融合模型，通过在下采样阶段聚合不同大小的特征图的上下文信息来提高全局信息的利用率；
• 通过加入ASPP，多融合U-网络具有更大的感受野，并有望提高网络识别路面密封裂缝的能力；

数据集：

数据集由WayLink制造的数字公路数据车（DHDV）中收集，3163图像集分为训练、验证和测试数据集。具体地，随机选择2463个图像集作为训练数据，随机选择200个图像集作为测试数据，随机选择500个图像集作为验证数据。

模型要点： 

 

• 网络左边为编码器，右边为解码器；
• 网络中重复使用3×3的卷积；
• 下采样采用步幅为2的最大池化层，上采样转置卷积实现上采样系数2，对于特定分辨率水平，复制下采样阶段中的注意力模块输出，并将其与上采样阶段生成的特征图像级联；
• 在第四层加入多融合模块以便引入更多的上下文信息；
• 由多重融合模块输出的特征图的空间和信道信息由双注意模块提取，通过在下采样的最后阶段添加ASPP（Atrous Spatial Pyramid Pooling）来扩展感受野；
• 在最后输出阶段应用1 × 1卷积将信道维度转换为1

多尺度融合模块：

全卷积神经网络的平移不变性和池化层的存会导致重要信息的丢失，同时忽略了全局和局部信息之间的关联，本文提出的多融合模块通过对下采样阶段各层得到的特征图进行融合得到特征图，使得提取的特征图能够同时携带局部和全局上下文信息。

• 为了能够进行特征融合，所以需要将每个下采样得到的特征图大小一致，采用的是不同池化因子的最大池化操作；
• 相同尺度特征图使用1×1的卷积来调整通道大小；

双重注意力模块：

 

双重注意力模块包括空间注意力和通道注意力模块，在空间注意中采用3×3深度卷积和1×1逐点卷积来替代常规卷积运算，减少训练参数；空间注意模块通过使用位置信息来聚合空间维度中的相关语义信息。无卷积层的通道注意模块可以突出相互依赖的特征，并通过捕获相似的语义通道来改善特定语义的特征表示。

APSS模块：

ASPP算法通过采用不同速率的卷积来获得图像在不同尺度下的特征表示，并对输出的特征图进行收敛，根据DeepLabV3 +的atrous速率，atrous卷积比为6，12和18。

损失函数：

选择Dice Loss损失函数：