Fault Description Based Attribute Transfer for Zero-Sample Industrial Fault Diagnosis

Preface

本文采用基于故障描述的属性迁移方法，研究了无训练样本的目标故障类别的故障诊断场景。与传统的诊断范式不同，每个故障提供了包含任意属性的故障描述作为辅助信息。故障描述层嵌入在故障样本层和故障类别层之间。基于故障描述层中的细粒度和类共享属性，可以构建级联诊断系统，将训练故障的属性知识转移到目标故障，进行零样本故障诊断。在基于故障描述的方法中，我们还采用了有监督的主成分分析作为特征提取器，为更有效的学习过程提供了与属性相关的特征。

主要贡献：

• 首次完成并解决了零样本故障诊断任务，即尝试在不需要其样本的情况下诊断目标故障。
• 提出了一种基于故障描述的方法，以故障描述为辅助知识源，实现了训练故障向目标故障的属性迁移，从而进行了零样本诊断。

Problem Formulation

向量空间中的表述

对每种故障进行故障描述，以提供细粒度的类级信息。该描述由任意的属性组成，包括故障的影响、具体的故障位置、故障的原因等。
每个属性在向量空间中都是一个维度，对故障的描述表示为$a^{\prime }\in {\mathbb{R}}^{C^{\prime }}$，其中$C^{\prime }$是属性的数量。
对于$L$类故障，描述矩阵可以记为$A^{\prime }\in {\mathbb{R}}^{L\times C^{\prime }}$。
本文采用独热编码技术制作稀疏矩阵$A\in {\mathbb{R}}^{L\times C}=one-hot(A^{\prime })$，其中$C$为独热编码的维数。
$A$中的所有元素都是1或0，这表示该属性在某个故障类别的描述中存在或不存在。

零样本故障诊断的公式编制

与迁移学习类似，源域： S = { s 1 , . . . , s q } S=\{s_1,...,s_q\} S={s1​,...,sq​}，其中$q$为已知类别数，目标域： T = { t 1 , . . . t p } T=\{t_1,...t_p\} T={t1​,...tp​}，其中$p$为未知类别数。目标域没有训练数据，并且$T\cap S=\varnothing$。$S$中的样本记为： S = { X S ∈ R N S × D , Y ∈ R N S } \mathscr{S}=\{X_S\in \mathbb{R}^{N_S\times D},Y\in \mathbb{R}^{N_S}\} S={XS​∈RNS​×D,Y∈RNS​}，$N_S,D$分别是样本数和特征维度。零样本故障诊断学习了从$S$到$T$的$f$映射：

• 这里的$CLoss$表示任意的损失函数
  进一步的：
  
• 其中属性描述矩阵$A=[A_S,A_T]\in {\mathbb{R}}^{L\times C},L=p+q$
  PS：$S$的属性描述矩阵$A_S$和T的$A_T$都可用于模型训练，因为属性描述是类级的，而不是样本级的；是常识，而不是专业的专家知识。

Method

基于故障描述的属性迁移学习

困局：在训练阶段无法获得目标故障的参数向量$\alpha$

基于故障描述的零样本故障诊断任务方法的基本思想如图所示：

• Step 1：特征提取，训练标签$Y_S$和训练故障描述$A_S$合并成训练属性标签$Z_S=[z_1^S,...,z_C^S]$，即每个故障样本由$C$维属性向量描述。对 { X , z i S } ( i = 1 , . . . , C ) \{X,z_i^S\}(i=1,...,C) {X,ziS​}(i=1,...,C)进行PCA，提取属性相关特征。训练样本$x$的特征记为$b$，变换记为$\phi$
• Step 2：映射，不是直接学习特征和标签之间的映射，而是在训练阶段的监督方式下为每种属性$a_i$训练一个属性学习器${\alpha }_i（i=1，...，C）$。在测试时，这些属性学习器允许对目标故障的每个测试样本进行预测属性值（1或0）。请注意，只要训练和目标故障的属性在相同的维度中描述，对于更多的属性学习器就不需要额外的训练。
• Step 3：分类，由于目标故障的故障描述已知：$A_T\in {\mathbb{R}}^{p\times C}$，从故障描述到故障类别的推理规则$\beta$可以获得并用于测试样本，如最近邻搜索等

从概率论的角度精确描述为：

• Step 1：$b=\phi (x)$
• Step 2：$p(a|b)={\Pi }_{i=1}^{C}p(a_i|b)，a\in {\mathbb{R}}^C$
• Step 3：$a\to t$，第$t$个类的属性向量$a$表示为$a^t=[a_1^t,...,a_C^t]$

基于贝叶斯规则，该推理表述为：

• $[a=a^t]=0|1$，由于$A_T$已知，得：$p(a^t|t)=1$
• $p(a^t)={\Pi }_{i=1}^{C}p(a_i^t)$，其中 $p(a_i^t)=\frac{1}{q}{\Sigma }_{j=1}^q{a}_i^{s_j}$为先验属性知识

测试样本中得到测试故障类别的后验为：

$b=\phi (x)$，只用最大后验估计得到最佳输出：

• $a^{t_j}$为第$j$个目标故障类别的故障描述向量，$a_i^{t_j}$表示$a^{t_j}$的第$i$个元素。

可行性分析

Experiment

提供两个Case，Tennessee–Eastman 过程和真实火电厂过程

Tennessee–Eastman 过程（TEP）

TEP由五个主要子系统组成，包括反应器、冷凝器、汽液分离器、循环压缩机和产品剥离器。
该数据集提供了21种故障，每种故障都由41个测量变量和11个操纵变量进行描述。
每个故障的训练采集了480个样本。
由于后6种故障在数据集中的描述较少，因此本文采用前15种故障来进行零样本故障诊断。
表1介绍了15种故障类别，研究的TEP的15种故障存在差异，其中一些方法的模型训练样本为零

TEP在向量空间中的属性描述的配置，即属性矩阵$A$，如图所示：

具体的属性名称见表2。

每种故障都由20个细粒度的属性来描述。将表II与表I进行比较，可以很容易地从表I的陈述中得出属性描述，根据故障描述，我们在没有样本的情况下对目标故障进行模型训练。

• 特征提取。PCA，对于每个属性，从原始的52个变量中提取20个特征，形成20 $\times$ 20=400个特征的数据集
• 属性学习器训练。三种不同的机器学习算法：线性支持向量机（LSVM）、非线性随机森林（RF）和概率朴素贝叶斯（NB）
• 分类。最近邻搜索，欧式距离法

数据集划分：

实验效果：

对比实验：

真实火电厂过程

步骤与Case1相似

论文