本文深入探讨了自编码器在神经网络参数初始化中的作用，通过分层训练逐步构建自编码器。自编码器的思想是将输入数据压缩后再重构，用于降低数据维度并提取特征。实验表明，使用自编码器初始化的神经网络在手写体识别任务上的性能优于传统方法。自编码器近年来在特征提取和生成对抗网络等领域广泛应用，适合于数据降维和预处理等场景。
1. 自编码器模型
这一讲我们将讲解2006年Geoffrey Hintton在Science上发表的文章Reducing the dimensionality of data with neural networks自编码器（Auto-Encoder）模型，基于这个模型，它部分地解决了神经网络参数初始化的问题。
2. 自编码器思想
自编码器采用的是分层初始化的思想。
例如我们想要训练图中 N N N层的神经网络，步骤如下：
步骤一：先训练图中下面这个小的网络，它的输入是原来的网络输入 X X X，中间只有一层，就是上面网络的第一层，而输出仍然是原网络的输出 X X X。
假设：
输入 X X
最低0.47元/天 解锁文章
扫一扫
5560
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
