稀疏自编码器的隐层激活函数不能用relu，要用sigmoid

我看的资料是Andrew课程的配套pdf，大家可以去网上找：

为什么不可以用relu

本文不讲稀疏自编码器的理论和原理，网上资料很多，上面的论文也讲得很好。直接说问题。

最近用稀疏自编码器做点事情，需要在传统普通自编码器的均方损失上加点正则化项，即稀疏性项。

看了论文里稀疏自编码器的思想以及对应的数学推导后，开始动手做。但是很快遇到一个没想到的问题，全网基本搜索不到这个问题，很多博文都是把稀疏自编码器的理论推导讲完就没了，或者有一点实验性的代码，但是看不太出来使用的损失函数和KL散度的计算。

我遇到的问题是：我像DNN那样，习惯性的使用relu激活函数，在传统自编码器里，只有平方损失，所以用relu没什么问题，挺好的。但是稀疏自编码器的思想是：要让隐层的每个神经元的激活程度接近于0，一般是0.05，我看到很多代码都是直接用的0.05，没毛病。但是根据这个稀疏性思想，数学推导得到的KL散度计算公式是：

其中${\hat{\rho }}_j$是输入层所有神经元在隐层第j个神经元上激活值的平均。

如果只看理论，只学理论，大概率不会立刻提出一个问题，即：

如果${\hat{\rho }}_j>1$怎么办？？？

看看relu函数，它不会把权重矩阵，输入的偏置向量和输入向量经过线性运算得到的激活值映射到（0,1）区间。所以得到的$\hat{\rho }$