深度学习笔记：深度残差收缩网络的噪声特征去除方式

软阈值化是将接近于0的特征置为0。

但是，如果接近于0的特征是有用特征，这该怎么办呢？

 

我们看传统的小波降噪是怎么办的？通过小波变换，在变换形式里，使得接近于0的特征是噪声特征，并且使有用特征的幅值较大。

小波变换为什么能够提高有用特征的幅值、降低噪声特征的幅值呢？这就需要去学小波了。

如何确保小波变换能够达到这个效果呢？我们需要精心设计【小波函数】。但是这很难。

小波变换的本质是卷积，这与卷积层类似。卷积这种运算本身就具备提高有用特征幅值、降低噪声特征幅值的潜力。

在深度学习里，我们不需要人工设计小波函数了。卷积层的卷积核是通过端对端的训练得到的。

此处的卷积层，起码具有提高有用特征幅值、降低噪声特征幅值的潜力。

如果特征图里完全没有噪声呢？阈值有可能被优化成0，或者接近于0的数字。这样软阈值化就相当于不存在了。

关于软阈值化的讨论，也可以看这个博客：

【深度残差收缩网络】从删除冗余特征时的灵活性进行探讨_ABCD_202020的博客-CSDN博客

论文原文：https://ieeexplore.ieee.org/document/8850096