Deep Residual Shrinkage Networks for Fault Diagnosis阅读笔记
Abstract
本文提出了一种新的深度学习方法——深度剩余收缩网络,以提高高噪声振动信号的特征学习能力,达到较高的故障诊断精度。
软阈值作为非线性变换层被插入到深层结构中,以消除不重要的特征。通过神经网络作为可训练模块,来自动确定阈值。
1 Introduction
现有的机械传动系统故障诊断算法可分为两类,即基于信号分析的方法和基于机器学习的方法[4]。
本文提出两种深度残差收缩网络,DRSN-CS和DRSN-CW,以提高高噪声振动信号中剩余收缩网络的特征学习能力,最终目标是获得高诊断精度。
主要贡献如下所示:
- 软阈值化(即流行的收缩函数)作为非线性变换层被插入到深层结构中,以便有效地消除与噪声相关的特征。
- 使用专门设计的子网络来自适应地确定阈值,使得每条振动信号可以具有其自己的一组阈值。
- 软阈值法考虑了两种阈值,即信道共享阈值和信道方向阈值,这是术语DRSN-连续波和DRSN-连续波产生的原因
2 theory of the developed DRSNs
A Basic Components
卷积层,全局池化层, 非线性激活层,批处理归一化层,交叉熵损失函数。
B. Architecture of the Classical ResNet
C. Design of Fundamental Architectures for DRSNs
1) Theoretical background
在过去20多年里,软阈值经常被用作许多信号去噪方法的关键步骤。
作为一种经典的信号去噪方法,小波阈值处理通常由三个步骤组成:小波分解、软阈值处理和小波重构。
软阈值可以表示为:
其中 x x x使输入特征, y y y是输出特征, τ \tau τ 是阈值。
软阈值化不是在ReLU激活函数中将负特征设置为零,而是将接近零的特征设置为零,从而可以保留有用的负特征。
软阈值处理的过程如图3(a)所示。可以观察到,输出对输入的导数要么是1,要么是0,这对于防止梯度消失是有效的
通过分支网络自动确定阈值。
2)Architecture of the Developed DRSN-CS
具有通道共享阈值的剩余收缩构建单元(RSBU-CS)
软阈值化的阈值不仅需要为正,而且不能太大。如果阈值大于特征图的最大绝对值,软阈值的输出将为零。
3) Architecture of the developed DRSN-CW
与DRSN-CS不同的是,对于feature map的每个通道应用了一个单独的阈值。
3 Experimental results
略……