Domain adversarial graph convolutional network for fault diagnosis 论文阅读笔记

Domain adversarial graph convolutional network for fault diagnosis under variable working conditions
变工况下的域对抗图卷积网络故障诊断
期刊:Knowledge-Based Systems年份:2021
主要内容列举:
1:基于CNN的无监督域自适应方法(unsupervised domain adaptation, UDL）与其不足;
2:DAGCN (domain adversarial graph convolutional network,域对抗图卷积网络）理论分析;
3:与其他现有基于CNN的无监督域自适应方法的实验比较;④: DAGCN 的优点和改进方面的总结。
(二）方法方面1．创新工作
基于无监督域自适应（UDA）的方法在变工况下的机械故障诊断中取得了很大的进展。在UDA中，三种类型的信息（包括类标签、域标签和数据结构）对于桥接标记过的源域和未标记的目标域是必不可少的。然而，现有的基于UDA的方法大多只使用前两种信息，而忽略了数据结构的建模，使得深层网络提取的特征中包含的信息不完整。为了解决这一问题，本文提出了域对抗图卷积网络(DAGCN)，用于在统一的深度网络中对三种类型的信息进行建模并实现UDA。前两类信息分别由分类器和域鉴别器建模。在数据结构建模中，首先采用卷积神经网络(CNN)从输入信号中提取特征。然后，将CNN特征输入到所提出的图生成层，通过挖掘样本结构特征之间的关系来构造实例图。然后，利用图卷积网络对实例图进行建模，并利用最大平均差异度量来估计不同域实例图的结构差异。两个案例的实验结果表明，所提出的DAGCN 不仅可以获得比较方法中最好的性能，而且可以提取可转移的特征进行域自适应。

2．模型结构
1）频谱图像卷积模型
给定一个图片G(A.X)，其中A表示其邻接矩阵，X表示其节点特征。L=IN-D-1/2AD-1/2是对称归一化图拉普拉斯矩阵，其中，对角度矩阵D可从邻接矩阵获得，即
，IN表示单位矩阵。频谱图像卷积(GConv)利用频谱图像滤波器g(θ)=diag(θ)，使得输入信号x∈RN变得平滑，其数学定义如下:
其中θ是可学习的参数，*G表示GConv运算符，U是拉普拉斯矩阵的特征向量，UTx表示信号信号x在图上的傅里叶变换。
然而，上式定义的GConv不是局部化的，并且计算成本高。将卷积核g)限制为切比雪夫多项式的展开式即可解决这个问题:

其中K是切比雪夫多项式的阶数，它也决定了节点邻域的范围;

和入是拉普拉斯矩阵的特征值。通过使用定义的GConv操作，k-hop距离内的节点信息将被聚合以实现图像平滑。
标准 GCN (graph convolution network,图卷积网络）只能在一个固定的感受野中聚合信息，而MRF-GCN (multi receptive field graph convolution network，多感受野图卷积网络）可以很好得解决这个问题。MRF-GCN可以获得强大的特征表示，并将数据
结构信息嵌入到特征表示中。MRF-GCN如图所示，其GConv操作可定义为:

其中θk1,、θk2,和θkv,是可学习的参数，[·]表示特征拼接，H表示融合特征，v指GConv有多少个感受野。
2）DAGCN结构


图为用于可变工况下故障诊断的DAGCN。如图所示，首先将原始数据输入CNN以获得特征图，然后将每个特征向量视为一个节点，其值视为节点特征，通过所提出的GGL
(graph generation layer，图形生成层）自动生成图形。然后，将得到的图输入到GCN中，将数据结构信息嵌入到节点特征中。最后，将得到的节点特征用于故障分类和领域对抗训练。因此，实现DAGCN有三个关键要素，即图形生成、目标函数和模型参数更新，每个部分的细节如下所示。

如前文所述，图形生成中包含图的两个关键组成部分，即邻接矩阵A和节点特征矩阵X。为了获得节点特征矩阵X，首先利用CNN（例如LeNet）从输入数据中捕获特征，并且提取的特征映射可以表示为X=CNN(Xmput)，其中Ximpur是一个小批量输入矩阵。
作者提出了一种GGL来获取邻接矩阵A并从小批量输入矩阵构造实例图，其过程如图4所示。首先，将提取的特征矩阵输入到多层感知器（multilayer perceptron, MLP)。然后，通过MLP特征与其转置之间的矩阵相乘得到邻接矩阵。最后，根据top-k排序机制选择每个节点的前k个最近邻。因此，邻接矩阵可通过图中等式获得。其中A是构造的邻接矩阵，X是 MLP之后的输出。normalize(·)表示规范化函数。X是稀疏邻接矩阵，Top k(·)按行返回A的top-k最大值的索引，这使得邻接矩阵稀疏并减少了计算负担。完成上述过程后应用具有三个不同感受野的MRF-GCN对构建的实例图进行建模。因此，对于输入图形，通过MRF-GCN学习的特征表示可以定义为

其中H0和H1是第一和第二MRF Conv的学习特征表示，W是可训练权重矩阵
(2）UDA 的目标函数
DAGCN中包含三个部分，即特征提取器(F)、域鉴别器（D）和标签分类器（C)。为了学习上述三类重要信息的可转移特征和模型，总体目标函数包含三个部分，包括分类损失、域对齐损失和结构对齐损失。
分类损失（IC):为了保证标签分类器具有良好的预测效果，通过交叉嫡损失估计真实标签和预测标签之间的分类损失;
域对齐损失（IDA):由于域协变移位问题，仅用源域数据训练的标签分类器不能很好地处理目标域数据。为了解决这个问题，使用域鉴别器（D）来判断提取的特征是来自目标域还是源域，并且训练特征提取器来欺骗域鉴别器。当两人极小极大博弈达到均衡时，可以捕获域不变特征。这里采用二元交叉嫡损失作为域对齐损失;
结构对齐损失(LMMD):为了对源域和目标域的特征结构进行对齐，采用MMD 度量作为结构差异对齐损失。
(3）结构参数更新
设θF、θC和θD分别表示特征提取器、标签分类器和域鉴别器的参数。在模型训练过程中，可以通过反向传播（BP）算法更新DAGCN中各部分的参数，表示如DAGCN图中所示。特别是在特征提取器中，应用的MRF-GCN的参数可以通过计算以下方程式进行更新:
通过最小化定义的总体目标函数和优化DAGCN的参数，可以获得域不变和区分性特征，从而使用标记源域数据训练的分类器能够正确地对未标记目标域的数据进行分类。

其他主要工作
给出了用于UDA 的 DAGCN的算法和实现跨域故障诊断的详细流程图

3．对比方法
JAN、MKMMD、CORAL、DANN、CDANN和CDANN+E。
(三)结果方面
1）下表为齿轮箱数据集的实验结果
2）下表为航空发动机伞齿轮数据集的实验结果

网络结构