深度残差收缩网络论文笔记

M. Zhao, S. Zhong, X. Fu, B. Tang and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” in IEEE Transactions on Industrial Informatics, vol. 16, no. 7, pp. 4681-4690, July 2020, doi: 10.1109/TII.2019.2943898.

Highligts

1. 将软阈值（soft thresholding)引入深度卷积神经网络，作为非线性层，有效剔除噪声相关特征
2. 将soft thretholding嵌入深度学习网络，软阈值的参数是可训练的，不需要信号处理的专业知识判断参数。
3. 考虑了软阈值种的两种阈值：channel-shared thresholds ， channel-wise thresholds
4. 基于残差网络进行了改进

Background

制造业中的 rotating machine（暂且叫做 旋转机器），精确的机器传动系统的故障诊断（fault diagnosis)对生产安全和机器服务周期的延长很重要。现有的 fault diagnosis方法可以分为两类 (1) 基于信号分析的方法： 基于信号分析的方法是通过检测信号中与故障相关的震动分量(vibration components) 或特征频率（原文charateristic frequency)（2）器学习方法: 机器学习方法则不同，它是根据数据的统计参数，如均方根（RMS）,熵（entropy），然后利用一个分类器（classifier)，如支持向量机（SVM），朴素贝叶斯（navie basye classifier) , 单层神经网络（one hidden layer neural networks)来诊断故障。

引出深度残差网络deep residual network

基于卷积神将网络的 fault diagnosis方法，因为随着网络的加深，梯度的反向传播变得困难，因此网络的浅层参数（靠近输入层的参数）无法得到有效优化，resnet的提出解决了这一难题（具体可以参考ResNet的论文：Deep Residual Learning for Image Recognition，以及B站视频：跟李沐学AI）

提出深度残差收缩网路（depp residual shrinkage networks,DRSN)

已经有一些论文证明了残差网络在 fault diagnosis中相较于其它传统方法的优势。但是一些大型的机器，通常包含有大量的噪声，这种情况下残差网络的学习能力大大下降。残差网络中的卷积核提取局部特征，在噪音的干扰下无法检测与故障相关的特征。因此，作者提出了两种深度残差神经网络： （1） DRSN-CS: deep residual shrinkage networks with channel-shared thresholds. (2) DRSN-CW : deep residual shrinkage networks with channel-wise thresholds.

DRSN的基本结构

理论背景

soft thresholding（软阈值）：软阈值是很多传统信号去噪方法的关键步骤，通过将原始信号变换到某一个领域，在这个领域中噪声的值靠近零，是不重要的，然后应用 soft thresholding, 将靠近零的值转为零。
软阈值表达式

软阈值的参数选定需要信号处理领域的专业知识，将软阈值与深度学习结合，可以通过反向传播方法自动更新，自动找到最优参数

RSBU-CS 与 RSBU-CW结构

实验结果

作者分析 DRSN-CW 比 DRSN-CS 精度更高的原因是特征图中不同的通道中包含的噪声数量不同。而DRSN-CW对不同的通道应用不同的阈值，因此更加灵活。

由此可见，如果应用于多通道图像数据，DRSN-CW 比 DRSN-CS更适用。