我看的资料是Andrew课程的配套pdf,大家可以去网上找:
为什么不可以用relu
本文不讲稀疏自编码器的理论和原理,网上资料很多,上面的论文也讲得很好。直接说问题。
最近用稀疏自编码器做点事情,需要在传统普通自编码器的均方损失上加点正则化项,即稀疏性项。
看了论文里稀疏自编码器的思想以及对应的数学推导后,开始动手做。但是很快遇到一个没想到的问题,全网基本搜索不到这个问题,很多博文都是把稀疏自编码器的理论推导讲完就没了,或者有一点实验性的代码,但是看不太出来使用的损失函数和KL散度的计算。
我遇到的问题是:我像DNN那样,习惯性的使用relu激活函数,在传统自编码器里,只有平方损失,所以用relu没什么问题,挺好的。但是稀疏自编码器的思想是:要让隐层的每个神经元的激活程度接近于0,一般是0.05,我看到很多代码都是直接用的0.05,没毛病。但是根据这个稀疏性思想,数学推导得到的KL散度计算公式是:
其中 ρ ^ j \hat\rho_j ρ^j是输入层所有神经元在隐层第j个神经元上激活值的平均。
如果只看理论,只学理论,大概率不会立刻提出一个问题,即:
如果 ρ ^ j > 1 \hat\rho_j>1 ρ^j>1怎么办???
看看relu函数,它不会把权重矩阵,输入的偏置向量和输入向量经过线性运算得到的激活值映射到(0,1)区间。所以得到的 ρ ^ j \hat\rho_j ρ^