Deep Residual Shrinkage Networks for Fault Diagnosis阅读笔记

Deep Residual Shrinkage Networks for Fault Diagnosis阅读笔记

Abstract

本文提出了一种新的深度学习方法——深度剩余收缩网络，以提高高噪声振动信号的特征学习能力，达到较高的故障诊断精度。

软阈值作为非线性变换层被插入到深层结构中，以消除不重要的特征。通过神经网络作为可训练模块，来自动确定阈值。

1 Introduction

现有的机械传动系统故障诊断算法可分为两类，即基于信号分析的方法和基于机器学习的方法[4]。

本文提出两种深度残差收缩网络，DRSN-CS和DRSN-CW，以提高高噪声振动信号中剩余收缩网络的特征学习能力，最终目标是获得高诊断精度。

主要贡献如下所示：

• 软阈值化(即流行的收缩函数)作为非线性变换层被插入到深层结构中，以便有效地消除与噪声相关的特征。
• 使用专门设计的子网络来自适应地确定阈值，使得每条振动信号可以具有其自己的一组阈值。
• 软阈值法考虑了两种阈值，即信道共享阈值和信道方向阈值，这是术语DRSN-连续波和DRSN-连续波产生的原因

2 theory of the developed DRSNs

A Basic Components

卷积层，全局池化层， 非线性激活层，批处理归一化层，交叉熵损失函数。

B. Architecture of the Classical ResNet

C. Design of Fundamental Architectures for DRSNs

1) Theoretical background

在过去20多年里，软阈值经常被用作许多信号去噪方法的关键步骤。

作为一种经典的信号去噪方法，小波阈值处理通常由三个步骤组成:小波分解、软阈值处理和小波重构。

软阈值可以表示为：

其中$x$使输入特征，$y$是输出特征，$\tau$ 是阈值。

软阈值化不是在ReLU激活函数中将负特征设置为零，而是将接近零的特征设置为零，从而可以保留有用的负特征。

软阈值处理的过程如图3(a)所示。可以观察到，输出对输入的导数要么是1，要么是0，这对于防止梯度消失是有效的

通过分支网络自动确定阈值。

2）Architecture of the Developed DRSN-CS

具有通道共享阈值的剩余收缩构建单元(RSBU-CS)

软阈值化的阈值不仅需要为正，而且不能太大。如果阈值大于特征图的最大绝对值，软阈值的输出将为零。

3) Architecture of the developed DRSN-CW

与DRSN-CS不同的是，对于feature map的每个通道应用了一个单独的阈值。

3 Experimental results

略……