1. 自编码器模型
这一讲我们将讲解2006年Geoffrey Hintton
在Science
上发表的文章Reducing the dimensionality of data with neural networks自编码器(Auto-Encoder
)模型,基于这个模型,它部分地解决了神经网络参数初始化的问题。
2. 自编码器思想
自编码器采用的是分层初始化的思想。
例如我们想要训练图中 N N N层的神经网络,步骤如下:
步骤一:先训练图中下面这个小的网络,它的输入是原来的网络输入 X X X,中间只有一层,就是上面网络的第一层,而输出仍然是原网络的输出 X X X。
假设:
输入 X X