论文详读：一种用于变电站缺陷图像生成的新型对抗性深度学习方法（A Novel Adversarial Deep Learning Method for SubstationDefect Image）-CSDN博客

本文链接：https://blog.csdn.net/sunshineine/article/details/146887051

本篇文章包含论文的期刊、发表时间等背景信息，后通过粗读和精读两种方式对原始论文进行归纳总结。粗读部分按照论文排版顺序对文章中的内容进行高度凝练总结，并对文章中晦涩难懂的句子以更通俗易懂的文字重新进行描述，还包括本作者对此论文的看法。精读部分将实验前的所有内容逐句进行分析，在原始论文的左右两侧清晰明了地对全英文内容进行翻译，文章中重复的内容也进行标明，提醒读者无需阅读。
建议阅读顺序：先阅读论文粗读部分，更快速更全面地了解本篇论文内容，对后续精读论文打下基础。后下载上边提供的“单词、短语、句子”资源文件，与论文精读部分对照着阅读，不会的单词、短语等均能在文件中进行查询（单词按照英文字母顺序排列，其中斜体单词为专有名词、下划线单词为高级词汇）。此部分锻炼读者全英文阅读论文的能力，以及提高读者英文写作的能力。
高质量文章创作不易，感兴趣的同学请关注此专栏，后续预计每周都会更新一篇论文，谢谢

一、论文粗读

0. 简介

0.1 发表信息

发表期刊：sensors：https://www.mdpi.com/journal/sensors

发表时间：2024-7-12

论文链接：https://www.mdpi.com/1424-8220/24/14/4512

0.2 摘要

        变电站设备缺陷的存在是影响电力安全输送的主要因素。随着智能巡检机器人的发展，多利用主流的目标检测模型对变电设备表面缺陷进行诊断，但缺陷图像数据的缺乏是影响基于监督深度学习的缺陷检测模型准确性的主要因素之一。
        针对变电站设备锈蚀、表面漏油等复杂背景下缺陷图像训练数据不足，导致检测模型性能不佳的问题，本文提出一种基于对抗式深度学习的变电站缺陷图像生成模型--异常缺陷检测生成对抗网络（ADD-GAN）。
        与现有的生成式对抗网络不同，该模型在有效分割变电站设备图像局部区域的基础上生成缺陷图像，避免了全局风格变化引起的图像失真。此外，该模型对整体图像和缺陷图像使用联合鉴别器，以解决对局部缺陷区域关注度低的问题，从而减少图像特征的丢失。
        该方法增强了生成的图像以及局部生成的缺陷图像的整体质量，最终提高了图像的真实性。实验结果表明，在ADD-GAN方法生成的数据集上训练的YOLOV 7目标检测模型在测试数据集上的平均检测精度（mAP）达到了81.5%，优于其他图像数据增强和生成方法。这证实了ADD-GAN方法能够生成高保真的变电站设备缺陷图像数据集。

0.3 关键词

GAN、变电站设备缺陷图像生成、局部区域缺陷生成、全局图像与缺陷图像联合建模

0.4 模型架构

1.引言

1.1 背景

过去变电站设备的缺陷检测是耗时和劳动密集型的。随着变电站遥视技术的发展，利用摄像机拍摄的图像可以实现对变电站设备运行状态的远程监控。然而，设备图像的缺陷评估是手动进行的，且在长时间的图像筛选过程中，人工判断会导致眼睛疲劳，从而导致潜在的错误，遗漏和主观偏见。因此考虑对设备图像进行自动检测。

1.2 目的和相关工作

变电设备表面缺陷数据集的构建面临以下挑战：（1）在日常检查和监测数据采集过程中，变电设备的正常图像远远超过缺陷图像。这对缺陷图像的手动筛选和分类施加了显著的工作量。（2）人工专业知识存在相当大的差异，导致缺陷图像的采集、分类和标注质量存在明显差异，难以保证后续数据集构建的质量。（3）目前的数据集增强主要依赖于图像旋转、拉伸和亮度变换等技术，对图像超像素特征的利用有限。这导致数据集的高冗余度以及识别和检测模型的改进较差。
通过自动编码器（AE）和生成对抗网络（GAN）等生成模型，可生成具有复杂背景和不同特征的新图像，有助于构建具有更高丰富度的训练数据集。Di Maggio等人[15]基于CycleGAN；Liu等人[17]基于DCGAN [18]；Zhuang等人[19]基于Defect-GAN [20]；Liu等人[21]基于掩模池、异常感知损失以及局部与全局鉴别器的Anomaly-GAN。
上述图像增强方法在应用于变电站设备缺陷图像的生成时仍然存在几个缺点：（1）变电站设备图像是在具有复杂背景的真实世界环境中捕获的，而上述方法中有意削弱了复杂背景。（2）上述方法主要关注简单的缺陷，无法生成变电站设备缺陷图像的锈蚀、漏油等复杂特征以及纹理特征。（3）现有的GAN方法在训练过程中经常遇到模式崩溃，所生成的图像缺乏真实性和稳定性。

1.3 主要贡献和创新

提出了一种针对生锈和漏油等典型变电站缺陷的异常缺陷检测生成对抗网络ADD-GAN模型。本文主要贡献和创新点归纳如下：（1）有效区域提取：ADD-GAN模型能够在原始图像的复杂背景中提取有效生成区域，将正常设备图像的区域转化为存在锈蚀、漏油等缺陷的图像。(2)局部区域缺陷生成：基于有效生成区域的提取在变电站设备图像上生成缺陷。(3)整体图像和缺陷图像的联合鉴别器：在保证生成图像整体质量的前提下，重点生成变电站设备特定区域的缺陷图像，避免全局图像风格变化引起的失真。(4)损失函数设计：ADD-GAN模型被设计为具有全局感知对抗损失、局部缺陷感知损失和循环一致性损失。

2. 数据集准备

变电站设备表面生锈和漏油是手动和自动检测期间的重要检测目标，其视觉表现如图所示。在检查期间，获得正常图像是更常见的，但缺陷图像总数很少，且存在图像类别数量的不平衡。因此，针对上述两种类型的缺陷执行图像生成。我们收集了700张表面缺陷图像，包括353张表面漏油图像和347张金属生锈图像，此外还收集了1200张普通设备的图像。

3. 材料和方法

3.1 局部缺陷图像增强

局部缺陷图像增强方法中缺陷图像数据集的元素具有两个主要来源。第一个来源是利用原始缺陷图像数据集的先验知识手动分割局部缺陷图像，第二个来源是由专家使用工具得出的专家经验的局部缺陷图像。这两种类型的图像展示出了尺寸、形式和空间布置的变化。为了确保专家创建的缺陷图像的真实性，我们在绘制过程中遵循与真实场景相对应的特定指导原则，如下表所示。在生成新的缺陷图像后，采用专家评价方法对专家生成的缺陷的准确性和合理性进行评价。10位专家评估新图像的可扩展性，并且将每个图像的结果得分计算为专家评级的平均值。随后，保留由专家绘制的落在前15%内的缺陷图像。

为了进一步提高新样本的数量和种类，我们对两组的缺陷图像采用随机重新定位、旋转和缩放技术。此外，各种缺陷分量被随机地合并在一起以在单个图像内引入更大数量的缺陷。这种方法有效地减轻了手工绘图的工作负担。通过将这些人工生成的缺陷与真实的收集的图像相结合，我们形成了用于后续GAN模型训练的训练数据集。

3.2 ADD-GAN算法

3.2.1 GAN模型的算法原理

        生成对抗网络（Generative Adversarial Network，GAN）可从一组数据中学习并生成类似的数据，由生成模型和判别模型两部分组成。生成器捕获样本数据的分布，并使用遵循一定分布（均匀分布、高斯分布等）的噪声 $z$ 生成类似于真实的训练数据的样本。生成器的目标是生成越来越类似于真实的样本的样本。判别器是一个二元分类器，用于估计样本来自训练数据而不是生成数据的概率。如果样本来自于真实的训练数据，则训练器输出高概率；否则输出低概率。在训练过程中，GAN模型固定生成器或判别器其中一个，更新另一个的权重，并交替迭代。
        G的目的是在保持D固定的情况下尽可能地最小化D和G之间的差，而D的目的是在保持G固定的情况下最大化D和G之间的差。在训练过程中，G和D都不断优化他们的网络，形成竞争目标，直到双方达到纳什均衡。在这一点上，G可以生成与真实的数据分布相同的样本，并且D在区分所生成的样本方面实现了50%的准确度。然后使用最终的生成模型来生成所需的数据。
        现有GAN模型生成的缺陷图像局部细节不清晰，图像多样性有限。为了克服这一挑战，本文ADD-GAN模型如下图所示。ADD-GAN的工作原理是将变电站设备的正常图像转换为有缺陷的图像。它涉及两个样本空间，表示为X（正常设备图像样本集）和Y（漏油或生锈的图像集）。目标是将样本从空间X转换到空间Y。因此，ADD-GAN的目标是学习从X到Y的映射函数G。G对应于ADD-GAN网络模型中的生成器，能够从空间X中的图像x生成空间Y中的图像F（x）。对于生成的图像F（x），采用ADD-GAN中的ADDY来判断它是否是真实的图像，形成对抗神经网络。ADD-GAN模型有助于正常图像和缺陷图像之间的双向转换。

3.2.2 局域缺陷生成网络（生成器）

目前，使用GAN网络的图像生成方法通常优先考虑整体图像的纹理变换，而忽略了小区域中的细粒度缺陷特征。换句话说，不仅产生变电站设备表面的缺陷图像，而且整个图像的整体风格也发生变化。为了解决这些问题，本文在图像生成阶段引入了局部区域缺陷生成网络。通过图像分割，隔离缺陷区域后，局部风格变换和缺陷生成应用于该分割区域。这种修改增强了ADD-GAN在小区域缺陷的语义特征生成中的性能。
本文采用U-Net的编码器-解码器网络代替全卷积神经网络架构，用于构成局部区域缺陷生成器模型，U-Net允许浅像素位置特征与深像素类别特征的更好融合，提高了图像特征的利用率并有助于增强的图像生成。如下图所示，生成器的输入包括正常设备图像和一维掩码信息。这些信息是预先设置的，可以通过手动注释获得，也可以使用基于深度学习的图像分割方法自动生成。首先，利用掩码信息首先分割原始图像中需要产生缺陷的局部区域。随后，在分割区域中生成所需的缺陷。最后，输出结果（生成的缺陷）替换原始图像中的掩码区域，完成缺陷图像的生成。

3.2.3 整体图像和缺陷图像的联合鉴别器（判别器）

        评估生成图像在两个方面：整体图像是否准确地代表变电站设备的特征以及检查生成的缺陷是否与漏油和生锈缺陷的图像特征对齐。为了解决这些标准，本研究提出了一个整体图像和缺陷图像的联合鉴别器，包括两个子网：整个图像子网（输入生成器生成的缺陷图像）和缺陷区域子网（输入分割的缺陷区域），如下图所示。该设计旨在提高具有局部缺陷的生成图像的质量。
        整个图像子网：输入图像被调整为256×256像素，经过4次ConV-BN-ReLU-ConV-BN-ReLU运算，最终通过Sigmoid层输出一个一维向量。
        缺陷区域子网：掩模分割的缺陷区域被调整大小为64×64像素，经历了4轮ConV-BN-ReLU-ConV-BN-ReLU操作。ReLU是一个线性函数，输出值在[0，∞）范围内。它的优点包括计算速度快和在正区间内的恒定梯度，这避免了消失梯度问题，并允许网络更有效地学习有效特征。然而，它的缺点是输出不再限于范围[0，1]，这使得它很难解释为概率。因此，在ReLU函数之后，我们引入Sigmoid函数。Sigmoid函数的输出值在[0.5，1]范围内，允许将输出解释为概率，这适用于本文讨论的联合评分问题。分数的大小表示图像是真实的概率。

3.3 损失函数

本文设计三个损失函数：全局感知损失促进了生成的缺陷图像的高质量和多样性。局部缺陷感知损失进一步增强了生成的缺陷和语义属性的细节真实性。循环一致性损失促进ADD-GAN从有限的缺陷图像和多范围的正常图像中学习图像特征生成缺陷图像。损失函数与优化器具体参考论文精读Page8~10。

4. 实验与讨论

实验设备：实验是在一个IW4210-8G服务器上进行的，操作系统是Ubuntu 18.04。服务器的其他配置如下表所示。ADD-GAN模型使用GPU进行训练。

4.1 数据集和评价指标

数据集：本文通过现场场景采集了变电设备表面缺陷图像700幅，其中表面漏油图像353幅，金属锈蚀图像347幅。此外，还收集了1200张正常设备的图像。随后，本文采用了局部缺陷图像增强方法。首先，基于先验知识对400幅局部缺陷图像进行人工分割，其中表面漏油和金属锈蚀各200幅。然后，专家们根据使用工具的经验绘制了400张局部缺陷图像，其中表面漏油和金属生锈各200张。通过局部缺陷图像增强获得的这些缺陷图像被手动叠加到设备图像上以生成新的设备缺陷图像，形成ADD-GAN的训练数据集。最终训练数据集的组成见下表。

目标检测模型：ADD-GAN模型生成的缺陷图像数据集进一步输入到YOLOv7-X，基于VGG 16 Net的Faster R-CNN和SSD三个目标检测模型中进行评估。这三个模型的超参数如下表所示。

目标检测的评价指标具体计算公式如下：
（1）精确度： $Precision =\frac{TP}{TP + FP}$ ，其中 $TP$ 是真阳性， $FP$ 是假阳性。
（2）召回率： $Recall =\frac{TP}{TP + FN}$ ，其中 $FN$ 是假阴性。
（3）平均精度： $mAP =\frac{1}{n}\sum_{i=1}^{n}AP_{i}$ ，其中 $n$ 是类的数量， $AP_{i}$ 是类 $i$ 的平均精度。 $AP_{i}$ 是类别 $i$ 的精确度-召回率曲线下面积。 $APi =\int_{0}^{1}P_{i}(R_{i})dR_{i}$ ，其中 $P_{i}(R_{i})$ 是在召回率 $R_{i}$ 下的类 $i$ 的精度。
（4）F1分数： $F1 =\frac{2 · Precision · Recall}{Precision + Recall}$ 。

4.2 生成数据的有效性

原始图像与损伤图像对比结果可视化如下图所示，其中（a）无缺陷图像；(b)采集到的铁锈图像；(c)生成的铁锈图像；(d)无缺陷的图像；(e)采集到的表面漏油图像；(f)生成的表面漏油图像。专家评估表明，生成的设备缺陷图像与真实的图像具有较高的逼真度，可用于基于深度学习的设备缺陷检测。

同一图像生成不同缺陷图像可视化：从下图可以看出，无缺陷变电站设备的相同图像可以用于生成具有不同表面缺陷的图像。本研究利用ADD-GAN模型，产生1000张金属锈蚀及漏油的缺陷影像，并与所收集的原始缺陷影像融合，形成缺陷数据集。

生成数据集与原始数据集的目标检测结果对比：利用缺陷数据集对YOLOV 7、Faster R-CNN和SSD三种典型的目标检测模型进行训练。与使用原始数据集训练的模型进行了性能比较，结果如下表所示，将训练集与生成的数据相结合显著地提高了目标检测模型的性能。

4.3 消融实验

为了验证所提出的局域缺陷生成网络（生成器）以及整体图像和缺陷图像的联合鉴别器（判别器）以提高网络的性能，本研究进行了消融实验。消融实验涉及注释掉特定模块的代码，从而禁用相关功能。利用生成的缺陷数据集用于训练YOLOv7模型。最后，使用相同的测试集对训练后的检测模型进行了评估，结果如下表所示。

此表揭示了局域缺陷生成网络和联合鉴别器都有助于ADD-GAN模型的性能改进。可以观察到局域缺陷生成网络更关注生成局部缺陷的质量。它可以在不改变整体图像特征的情况下分割局部区域，在这些局部区域内生成相关缺陷。联合鉴别器更注重整体图像质量以及整体图像与局部缺陷图像融合的一致性。它可以纠正生成图像中缺陷和正常区域之间存在清晰边界的情况，使生成的图像与实际图像特征更加一致。

4.4 GAN模型对比实验

生成图像方式对比：为进一步验证ADD-GAN模型生成的图像质量，本节设计了六组对比实验。第一组采用传统的图像旋转、尺度变换、亮度变换等图像增强方法生成总计2000张锈蚀和漏油缺陷图像，第二至第六组分别使用基线和改进方法生成2000个缺陷图像。这些生成的图像与收集的原始缺陷图像相结合，以构成设备缺陷的数据集。我们比较了在真实场景测试集中通过各种生成方法获得的数据集在YOLOv 7目标检测模型中训练的测试结果，不同生成方法的平均精度（mAP）、F1分数（F1 Score）、参数量（Params）、GPU内存使用（GPU Memory Usage）和总浮点运算（GFLOPS）如下表所示。

结果表明，Defect-GAN模型在参数，GPU内存使用和GFLOPS三个指标上具有最大的值，在所检查的模型中复杂度最高，本文的ADD-GAN模型和Cycle-GAN模型的复杂度处于相同的数量级。由于采集到的变电设备图像背景复杂，其他模型对图像进行整体风格的转换和生成，与真实场景图像相比，这会导致更高程度的失真。ADD-GAN模型生成的图像比传统方法生成的图像更加多样化。此外，与Cycle-GAN等其他生成方法相比，ADD-GAN模型可以控制缺陷生成的区域，避免全局风格变化引起的真实感问题。典型目标检测模型的性能提高进一步验证了所提出的ADD-GAN模型能够生成特征丰富、真实感强的设备缺陷图像。

4.5 优化器比较实验

优化器的主要目的是改善神经网络的训练过程，本文将Adam优化器用于ADD-GAN的训练过程，并与四种常用优化器-AdaGrad，RMSProp，SGD和AdaDelta进行比较，AdaGrad优化器通过归一化每个参数的梯度来调整学习率。基于所有先前梯度的平方和计算归一化系数。它可以自适应地调整每个参数的学习率，但可能会阻碍收敛，由于逐渐积累的梯度信息，导致学习率太小。SGD优化器是最基本和最常用的优化器之一。它使用每个样本的误差更新网络参数，每次更新只使用一个样本的梯度信息，从而实现非常快的计算。然而，由于它一次只使用一个样本，它可能会导致振荡或卡在局部最小值。RMSProp优化器通过加权平均来计算梯度信息的二阶矩，以自适应地调整学习速率。它可以自适应地调整学习速率，缓解SGD中的问题。AdaDelta优化器是对AdaGrad的改进。它使用移动平均计算梯度信息的二阶矩，并仅保留最近一段时间的信息。该优化器可以自适应地调整每个参数的学习速率，并且不受连续累积梯度信息问题的影响。
各种优化器在ADDGAN模型的训练过程中损失曲线的变化如下图所示。可以观察到，Adam优化器优化的训练过程损失曲线收敛最快，振荡幅度最小，最终损失值最低。这归功于Adam在梯度下降算法中结合了动量和自适应学习率算法。它通过计算每个参数的自适应学习率来实现更快的收敛和更好的泛化能力。

为了进一步验证使用Adam优化器训练的ADD-GAN模型的拟合性能，我们比较了训练损失和验证损失，如下图所示。这两种损失都减少并趋于稳定，两者之间有一个小的差距。这些结果表明使用Adam优化器训练的ADD-GAN模型在训练集上表现良好，并有效地推广到验证集。这意味着ADD-GAN模型不会过拟合或具有非常低的过拟合程度。

4.6 整体图像和缺陷图像联合鉴别器的分析

为了验证联合鉴别器对图像生成的影响，本文使用全局神经网络训练ADD-GAN模型作为比较。在复杂度方面，单个全局神经网络的参数为12.3M，总浮点运算为38 GFLOP；联合鉴别器的参数为21.7 M，总浮点运算为71 GFLOP，联合调度具有较高的复杂性。关于图像生成结果，使用两个模型训练的生成器来处理正常图像。结果如下图9所示。下图9a描绘了正常设备图像，下图9 b显示了由ADD-GAN网络使用联合递归生成的缺陷图像，下图9 c示出了仅使用全局递归生成的缺陷图像。

从所生成的图像结果，可以观察到，在不添加局部子网络的情况下由局部局部子网络生成的缺陷图像倾向于保持整体器件特性，而不是表现出锈蚀缺陷特征。此观察结果证实，常规的缺陷检测器倾向于优先考虑所生成的图像的整体真实性，从而潜在地忽略某些局部缺陷图像特征。相比之下，使用整体图像和缺陷图像的联合去噪不仅保留了图像的整体真实性，而且保留了更多的局部缺陷图像特征。这显著增强了ADD-GAN模型的缺陷图像生成性能。

5. 结论

ADD-GAN的工作原理是将变电站设备的正常图像转换为有缺陷的图像，学习从正常设备图像样本集到漏油或生锈的图像集的映射函数。

本文做了四项工作：
（1）局部缺陷图像增强：使用两种方式（利用原始缺陷图像数据集的先验知识手动分割局部缺陷图像；由专家使用工具得出的专家经验的局部缺陷图像）获取局部缺陷部分的图像，并采用随机重新定位、旋转和缩放技术进一步提高局部缺陷图像的数量和种类。
（2）局域缺陷生成网络（ADD-GAN）：输入正常设备图像和一维的缺陷掩码信息到基于U-Net的的局域缺陷生成器模型（ADD-GAN）。首先，利用掩码信息分割原始图像中需要产生缺陷的局部区域。随后，在分割区域中生成所需的缺陷。最后，输出结果（生成的缺陷）替换原始图像中的掩码区域。
（3）整体图像和缺陷图像的联合鉴别器：通过增加一个缺陷区域子网（输入分割的缺陷区域）扩展整个图像子网（输入生成器生成的缺陷图像）。
（4）损失函数设计：全局感知损失、局部缺陷感知损失、循环一致性损失。

本文做了五项实验：
（1）生成数据的有效性：原始图像与损伤图像对比结果可视化、同一图像生成不同缺陷图像可视化、生成数据集与原始数据集在三种目标检测模型中的结果对比。
（2）消融实验：对局域缺陷生成网络和整体图像和缺陷图像的联合鉴别器（判别器）在训练YOLOv7模型时的消融效果。
（3）GAN模型对比实验：比较了ADD-GAN与通过传统图像增强方法和其他GAN变体模型获得的数据集在YOLOv 7目标检测模型中训练的测试结果。
（4）优化器比较实验：比较了AdaGrad、SGD、RMSProp、AdaDelta和Adam五种优化器在ADD-GAN模型训练过程中的效果。
（5）整体图像和缺陷图像联合鉴别器的分析：比较了联合鉴别器和全局神经网络训练ADD-GAN模型在复杂度和图像生成结果方面的比较。