深度学习—自编码器

本文深入探讨了自编码器在神经网络参数初始化中的作用,通过分层训练逐步构建自编码器。自编码器的思想是将输入数据压缩后再重构,用于降低数据维度并提取特征。实验表明,使用自编码器初始化的神经网络在手写体识别任务上的性能优于传统方法。自编码器近年来在特征提取和生成对抗网络等领域广泛应用,适合于数据降维和预处理等场景。
摘要由CSDN通过智能技术生成

1. 自编码器模型

这一讲我们将讲解2006年Geoffrey HinttonScience上发表的文章Reducing the dimensionality of data with neural networks自编码器(Auto-Encoder)模型,基于这个模型,它部分地解决了神经网络参数初始化的问题。

在这里插入图片描述

2. 自编码器思想

自编码器采用的是分层初始化的思想。

在这里插入图片描述
例如我们想要训练图中 N N N层的神经网络,步骤如下:

步骤一:先训练图中下面这个小的网络,它的输入是原来的网络输入 X X X,中间只有一层,就是上面网络的第一层,而输出仍然是原网络的输出 X X X

在这里插入图片描述
假设:
输入 X X

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值