改进U-Net网络用于混凝土裂缝检测网络学习

本人小白，写博客是为了记录学习笔记，也为了和各位大佬交流，如果文中出现错误，希望各位指正，本人不胜感激！

论文原文题目：An improved U-Net model for concrete crack detection

论文原文链接：https://www.hindawi.com/journals/mpe/2021/6654996/

网络结构介绍：

由于裂缝检测在混凝土建筑物的病害评估中起着重要的作用。然而，复杂的背景、不规则的边缘、实时性和准确性要求等因素也使得裂缝检测成为一项具有挑战性的任务。论文中改进了U-Net网络，提高了裂缝检测的准确度和快速度。

裂缝检测的方法主要分为传统方法和深度学习方法，虽然U-Net由于其检测速度快、架构简单、效果良好而得到广泛应用，但将其用于图像中的裂缝检测时仍存在许多不可避免的缺点需要解决。一是输出图像的分辨率小于输入图像的分辨率，二是U-Net的检测结果仍然存在很多误差。第一个缺点的主要原因是U-Net中有卷积层和池化层。这两个导致图像在卷积和池化操作期间丢失一些像素。因此，输出图像的分辨率小于输入图像，并且卷积和池化层的数量越多，上述差异越大。第二个缺陷可以概括为如何优化架构，使其更适合裂缝检测。

对于由网络中存在卷积层和池化层导致图像像素的丢失而使输出图像的分辨率小于输入图像的分辨率的问题，作者首先分析卷积层和池化层的作用以及它们的数量对网络是否会带来不好的影响。卷积层从输入图像中提取抽象特征。然后，池层被用来保留的重要功能，同时减少计算量。池化层是U-Net的重要组成部分。然而，过多的池化层将导致目标信息的丢失。池化层数过少会增加U-Net的复杂度，降低特征的描述能力。经过多次实验比较，发现4是最佳的池化层数。作者没有采用重叠瓦片策略来弥补分辨率的差异，因为其可以增加图像的分辨率，但是却是以降低速度为代价的，所以作者选择了在输入图像之前，对图像进行镜像填充的办法。通过镜像填充可以很好的连接上下文信息，镜像填充比直接填充0效果要好的多。同时由于池化采用的是大小为2×2，步长为2的池化操作，当输入图像是奇数时，输出图像大小则不为整数，所以我们可以采用同样的操作，对上采样的输出图像进行镜像填充。

对于检测结果存在误差的问题，作者采取多个方面的改进来进行解决。

• 采用镜像填充，步长在检测过程中丢掉的像素；
• 在不同的尺度层次上，通过对多尺度特征进行逐层聚合，实现了多尺度特征图的重用；

原因：直接将两者合并并不是最好的选择。因为两者在语义层次和空间分辨率上存在明显差距。

理由：多尺度特征图模型可以更有效地捕捉细粒度的前景对象的细节时，从编码器的低级别的特征图被逐渐丰富，然后与来自解码器的高级别的特征图融合。更重要的是，当来自编码器和解码器的特征图在语义上相似时，网络能够获得更好的预测结果。与原始的U-Net相比，它不是简单地合并来自编码器和解码器的特征图，而是在融合来自解码器的特征图之前先融合来自编码器的多尺度特征图。新模型能够捕获更多关于目标的信息，而不会显着增加重量。

结构：

• 剩余线性注意模块用于提取全局上下文信息，减少背景信息的干扰；

原因：获取局部上下文信息是必要的，但全局上下文信息也是不可或缺的，以往用于提取全局上下文信息时，池化形状通常为N×N，，但是在目标又长又窄的情况下，方形池化无法准确提取信息，其信息中包含很多不相关区域的信息。

理由：残差线性注意模块有利于捕获线性目标，减少来自无关区域的信息的影响；其次通道注意模块和改进的空间注意模块可以进一步突出重要特征并抑制无用特征。最后，残差跳跃连接使模型更容易收敛。通过比较不同模型的计算结果，发现跳接是该模块的最佳放置位置。

结构：

 实验准备：

数据集：是用摄像机采集的原始分辨率为5760*3840的图像，500张用于训练（数据增强到6000），50张用于测试；

实验环境：

评估标准：

• 精确度（P）：
• 召回率（R）：
• f1得分（F）：
• 裂缝的交集与并集（Iou（c））：
• 平均交集与并集（mIou）：

实验与结果：

• 最佳池化层数：实验比较了U-Net 3、U-Net 4、U-Net 5对裂缝检测的效果，比较了评估参数和效果图，发现U-Net 4的效果最好；
• 剩余线性注意力模块的位置：比较了放在五个位置的评估参数和效果图，发现放在跳跃连接处效果最好；
• 设计不同的模型来证明残差线性注意力模块和合并多尺度特征图的有效性，比较了U-Net、SU-Net（有效U-Net）、MSU-Net（多尺度U-Net）、RLAU-Net（剩余线性注意力U-Net）和RGAU-Net（剩余全局注意力U-Net），结果表明RLAU-Net的召回率、F1得分、裂纹的交集和平均交集都优于其他指标，RGAU-Net的每个评估度量都略低于RLAU-Net，这验证了条带池化比全局池化更有利于提取线性对象；
• 不同模型的速度比较：通过比较U-Net、SU-Net、MSU-Net和RLAU-Net网络的运行速度，发现U-Net 4的速度与RLAU-Net基本相同，表明我们的改进对速度没有显著的负面影响；

创新点：

• 镜像填充图像；
• 提出多尺度特征模型，通过逐层聚合多尺度特征来获得多层次特征；
• 提出剩余线性注意模型，用条带池核用于提取全局上下文信息，减少来自背景的信息干扰；

待改进：

可能还是准确性的问题，哈哈哈哈哈，其他看不出来了！！！