MGSCA（基于多尺度梯度选择的耦合超球自适应无监督路面缺陷检测）_基于耦合超球面的特征自适应文章目录-CSDN博客

本文链接：https://blog.csdn.net/ajie_1/article/details/136997775

本文提出了一种名为MGSCA的方法，通过构建多尺度梯度选择记忆库和耦合超球面适应模块，解决复杂路面背景下无标签缺陷检测的问题。该方法利用自注意力和自适应模块减少数据偏差，提高缺陷检测准确性，同时通过多中心缺陷计分模块改进了缺陷定位的精度。

摘要由CSDN通过智能技术生成

Multiscale Gradient Selection-Based Coupled-Hypersphere Adaptation for Unsupervised Pavement Defect Detection

motivation

复杂路面背景的干扰：在复杂的路面背景下，传统的方法往往难以区分缺陷和非缺陷区域，因为它们之间的纹理和结构可能非常相似。
弱纹理情况下的检测困难：在弱纹理或平滑的路面上，缺陷（如细微裂缝）可能难以被检测出来，因为它们与周围路面的对比度较低。
数据偏差问题：由于预训练网络（如在ImageNet上训练的网络）的数据分布与目标缺陷数据集存在显著差异，这可能导致在缺陷定位上的不准确性。
无监督学习中的缺陷定位：在没有缺陷样本标签的情况下，如何有效地学习和识别缺陷特征是一个挑战，特别是在路面缺陷检测中，因为缺陷样本的获取成本高且数量有限。

创新点

构建特征捕获记忆库：使用多尺度梯度选择模块和指数移动平均（EMA）方法构建一个轻量级且有代表性的记忆库，以有效捕获复杂路面背景的特征。
耦合超球面适应模块：利用基于轴的自注意力描述符和耦合超球面损失函数，对特征进行适应性调整，以减少预训练网络引入的数据偏差，并提高缺陷检测的准确性。
多中心基于缺陷评分模块：在测试阶段，使用多个中心点来评估测试样本的缺陷程度，从而提高缺陷定位的准确性。

方法

1.通过预训练网络提取特征

通过预训练网络提取无缺陷样本的特征(ResNet-18),第一层提取的浅层特征包含丰富的纹理，中级特征包含丰富的语义信息。

2.基于梯度选择的多尺度记忆库

为了消除冗余信息的干扰和缺陷图片的难以识别，一方面使用多尺度存储器库来关注不同尺寸的缺陷，其次采用了基于梯度的特征选择模块，使模型聚焦于非缺陷图像中变化显著的区域。
首先通过卷积得到图像的梯度特征 $G_{ij}=Norm(D(f_{ij})\odot L)$ $f_{ij}$ 表示第i张图片的j层特征，D为自适应特征模块，L为拉普拉斯算子(此算子相对于其他的更能感应纹理信息).然后为了减少特征库的冗余，对梯度特征 $G_{ij}$ 进行概率采样，服从正态分布，采样后，我们得到每个像素值的概率值。如果如果梯度特征Gi j的值高于采样概率Pi j，我们认为该特征具有高度代表性，并选择它。
然后通过EMA(exponential moving average),公式为： $C_n=αC_{n-1}+(1-α)S_{ij}$ C为内存库，n表示内存库更新的次数，α表示平衡因子。
![[Pasted image 20240324215704.png]]

3.耦合超球适配模块

在训练阶段，我们构建了一个自适应模块，该模块由基于轴的自关注特征描述符和双门控前向网络组成，如文献[50]所做。在我们的方法中，自适应模块 $D(f_{ij})$ 用 $A_{ij}$ 表示，公式如下: $A_{ij}=Dual(Axis(f_{ij}))$
Dual双门控前向网络增强了自适应模块的非线性建模能力，而Axis基于轴的自关注特征描述子从水平方向和垂直方向计算像素之间的相关性，为自适应特征提供丰富的全局语义信息。
根据代表性记忆库构造的超球C的中心，我们用K个最近的中心对超球进行建模，其中r为超球的半径。
在这里插入图片描述

$L_g$ 为聚集损失，使得自适应特征向球心聚集。D(·)为欧氏距离，HW为样本中的像素个数， $A_t$ 为自适应特征中的第t个像素， $C_k^t$ 为记忆库中距离这些中心最近的第k个中心，r为可学习的超球半径.
在这里插入图片描述

$L s$ 为分离损失，通过最小化分离损失函数的损失函数，自适应模块的参数倾向于使近分布缺陷远离超球边界，从而提高了真实路面场景中的缺陷检测性能。
在这里插入图片描述

4.多中心缺陷计分模块

仅使用最近的中心计算距离可能导致有缺陷的样本被错误地分类为无缺陷的样本。这是由于有缺陷的样品太靠近无缺陷的特征，导致其异常没有充分突出。
我们首先计算记忆库中最接近测试样本的K个中心，生成K个缺陷分数映射 $H_{ij}^k=D(A_{ij},C^k)$ 。然后再使用softmin函数计算测试样本相对于这些K中心的权重。
在这里插入图片描述

$H_{ij}^0$ 是最近中心计算的热度，由于模型是多尺度结构，我们使用upsampling()来得到最终的热图。
在这里插入图片描述

最后我们使用F1分数来计算阈值t，然后通过每个缺陷的像素分数来进行缺陷定位。
在这里插入图片描述

argmax(·)表示F1中取最大值的数组下标函数。
在这里插入图片描述
总体模型框架：

论文地址：Y. Zhang, Z. Li, T. Lai, W. Li and X. Zheng, “MGSCA: Multiscale Gradient Selection-Based Coupled-Hypersphere Adaptation for Unsupervised Pavement Defect Detection,” in IEEE Transactions on Instrumentation and Measurement, vol. 73, pp. 1-13, 2024, Art no. 5012513, doi: 10.1109/TIM.2024.3370756