论文解读5——Deep Residual Shrinkage Networks for Fault Diagnosis

1、文章贡献

深度残差收缩网络是对残差网络Resnet的一种改进，主要是针对样本数据中含有的噪声问题所提出的，这些噪声的存在会影响卷积神经网络对特征的提取。

一个比较直观的理解是在对猫狗图像进行分类，噪声就好比是混入了几张老鼠图对分类器造成了干扰，导致分类器的准确度下降。又或者是在车声嘈杂的环境下说话，根本听不清对方在说啥。

为了解决这类噪声问题，文章提出了深度残差收缩网络来改进，将不重要的噪声信息进行删除，而将重要的信息进行保留。

2、经典Resnet

• 图a是一个基础的残差建筑单元（RBU），由两个BN、两个Relu、两个卷积层和一个恒等映射连接构成。恒等映射的使用能够让梯度有效地流向较早的层，那些层接近输入层，因此能有效地更新参数。
• 图b将输出特征图的宽度进行了减半，由此可以减少下面层的计算量。
• 图c将输出特征图的宽度进行了减半、通道数增加了一倍，由此可以将不同的特征集成为判别特征。
• 图d是由上述残差单元堆叠而成的残差网络。
  

3、DRSN网络构成

深度残差收缩网络（DRSN）可以说是深度残差网络、软阈值化、注意力机制的一个集成

通过注意力机制注意到不必要的特征，对其软阈值化置为0进行删除；或是注意到有用的特征将其保留。

3.1 软阈值化

软阈值化经常被作为信号降噪的关键步骤来使用

• 设定一个阈值范围，将特征绝对值小于该范围的值化为0进行删除，将特征绝对值大于该范围的值进行重新收缩到0附近
  其中阈值τ是正数，并且阈值不能大于输入信号的最大值，否则在(9)式中可以明显发现，输出被置为0的特征范围将很大，即所有输出都将变成0
  
• 软阈值化的导数如下，其中导数要么是1，要么是0，与Relu激活函数类似，也由此有效的防止了梯度消失或梯度爆炸的问题。
  
• 软阈值函数和导数的图像
  

然而在传统的信号去噪算法中，阈值的选取往往比较困难，为了避免人工操作的麻烦，出现了DRSN自适应选择阈值的方法。

3.2 DRSN-CS

DRSN with channel-shared

残差收缩建筑单元（RSBU-CS）与残差建筑单元（RBU）不同，它有用于软阈值估计的特殊模块。

• 在特殊模块中，对输入特征图x的绝对值应用全局平均池化（GAP）得到一个一维向量后，经过两层FC和一层Sigmoid将参数缩放到0-1之间得到缩放系数α，最后将α与x的绝对值统一后相乘得到1×1×1的阈值。
• 图a是残差收缩建筑单元（RSBU-CS），图b是由残差单元堆叠的残差收缩网络（DRSN-CS），具有自适应选择阈值的优点。
  

3.3 DRSN-CW

DRSN with channel-wise

DRSN-CW是Resnet的另一种变体，与DRSN-CS不同之处在于，它是对特征图的不同通道应用单独的阈值。

• 与RSBU-CS步骤类似，在特殊模块中，第一条线路取输入特征图x的绝对值，经过全局平均池化（GAP）、FC、BN、Relu、Sigmoid得到0-1之间的参数α，另一条线路直接连接，最后得到C×1×1的阈值。
  

因此，阈值可以看成一个0-1之间的参数与输入特征图绝对值相乘得到的，既保证了阈值为正数，也不会使阈值太大。

4、实验分析

作者对普通卷积网络ConvNet、残差网络Resnet以及上述两种收缩网络DRSN-CS、DRSN-CW分别在高斯噪声、拉普拉斯噪声和粉红噪声的作用下进行实验

最后结果显示对噪声的抑制效果：DRSN-CW > DRSN-CS > Resnet > ConvNet

• 说明残差网络抗噪声效果比普通卷积网络好，而在残差网络的变体中，具有不同通道单独阈值的DRSN-CW又比统一阈值的DRSN-CS效果好
  
• 从特征信息图看，DRSN-CW的特征可分离程度更高
  
• DRSN-CW的训练测试误差更低
  
• 但DRSN-CS和DRSN-CW的计算时间相对较长，未来可以进一步优化结构来减少计算时间