sparse autoencoder

1.autoencoder

autoencoder的目标是通过学习函数，获得其隐藏层作为学习到的新特征。

从L1到L2的过程成为解构，从L2到L3的过程称为重构。

每一层的输出使用sigmoid方法，因为其输出介于0和1之间，所以需要对输入进行正规化

使用差的平方作为损失函数

2.sparse

spare的含义是，要求隐藏层每次只有少数的神经元被激活：

    隐藏层的输出a，a接近于0，称为未激活

    a接近1，成为激活

使用如下方法衡量：

    每个隐藏层的神经元有p的概率为激活，1-p的概率未激活（p一般取0.05、0.01等接近0的値）

    用作为p的估计

    使用KL散度，衡量两个分布的差异性

3.代码参考

ufldl练习  tornadomeet的实现

转载于:https://www.cnblogs.com/porco/p/4490518.html