autoencoder概念
weights:是一种特征变换.也就是”编码”
好的weights:information preserving encoding (保留原始信息的编码)
information preserving: 编码后,可以精确的解码
结论:pre-traing目标要是information preserving encoding
基本的autoencoder:
d−d′−d
网络,损失函数是
∑di=1(gi(x)−xi)
,从这个式子可以看出,关于i维的损失,和非i维也有关系.
有些情况下,为了正则化,会要求
w(1)ij=w(2)ji
去噪AE
主成分分析
重要概念
线性AE:
gk(x)=∑d′j=0wij∑di=1wjixi
注意,做了简化,没有tanh
也就是:
h(x)=WWTx
线性AE和MF的关系
x | 线性AE | MF |
---|---|---|
公式 | X≈W(WtX) | X≈UI |