对contractive auto-encoder的简单理解

关于contractive的原理

可以参照文献"Contractive Auto-Encoders:
Explicit Invariance During Feature Extraction“进行原理理解。总结了一下我看到的比较好的解释：contractive auto-encoder其实就是在损失函数上进行了创新。损失函数由两部分组成，第一部分是MSE，用于尽力捕获输入数据的很多信息；第二部分是作者新提出的惩罚项，最小化雅克比矩阵的Frobenius Norm的后果就是梯度会接近于0。这样的话, 如果改变输入数据，隐层单元的值不会改变。即如果在训练样本上加一些噪音，隐层节点的值不变（这一段话我觉得对我理解很有帮助，我会把原文链接放在最后）。公式即为
这个式子可以进行化简。文献中所使用的激活函数是sigmoid，所以可以化简为

但是注意，如果使用的激活函数不是sigmoid，则需要重新推导。如使用激活函数tanh。

大多数所能查到的关于CAE的代码都是单层的，如果是多层CAE，所以按照文献中雅可比矩阵的构造方法，W不应该只是encoder里最后一层神经元节点的W（许多代码在这里犯了错误），而应该是所有encoder层每个神经元节点的W。
需要循环获取！

参考资料：http://www.cnblogs.com/kemaswill/p/3809155.html