自编码器(autoencoder)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u013909139/article/details/54289289

什么是自编码器?

自编码器是一种数据压缩算法,或者说是一种PCA,,但是比PCA更高效,灵活。

什么是编码器,解码器?

数据压缩算法离不开编码器和解码器,数据压缩使用编码器,解压缩使用解码器。编码器是把高维度数据有损的映射成低纬度数据,减少数据量,要实现这种映射关系需要学习数据间的相关性。解码器和编码器完全相反,是把低维度数据映射成高纬度数据,增加数据量,使经过压缩的数据恢复本来的面貌。

自编码器是数据相关的,这意味着自编码器只能学习与训练样本相关的特征,一个自编码器只能针对一类样本,使用范围局限。

自编码器是有损的。这意味着解压缩之后的数据和压缩之前的相比是退化的,也可以理解为解压缩是一个去噪的过程,经过滤波之后的图像与之前相比更加模糊。

自编码器是从数据样本中自动学习的,我们无法设定学习的模式,学习的效果与编码器的选择有关,也就是只提供样本,至于从中能学习到什么并不知道。

一般地,自编码器是深度学习中少有的无监督学习算法,但其实它并不是真正的无监督,而是一种自监督,也就是说其输入和输出可以一致,输出也可以是输入+噪声,但是必须保证输入输出的数据维度一致,这与其他机器学习方法不同,因为自编码器的学习目标不是为了分类,而是为了特征,或者是降维。

搭建一个自动编码器需要完成下面三样工作:搭建编码器,搭建解码器,设定一个损失函数,用来衡量由于压缩而损失掉的信息。编码器和解码器一般都是参数化的方程,并关于损失函数可导,典型的情况是使用神经网络。编码器和解码器的参数可以通过最小化损失函数而优化,例如:SGD(Stochastic Gradient Descent),SGD是随机梯度函数,一个样本更新一次参数,不易收敛,最后在最佳参数附近震荡,实际应用中MGD(Minibatch Gradient Descent)更广泛,多个样本更新一次参数,适用于大规模的样本学习。

目前自编码器的应用主要有两个方面,一个是数据去噪,一个是为可视化而降维,配合适当的维度和稀疏约束,自编码器可以学习到比PCA更有意思的数据投影。



展开阅读全文

没有更多推荐了,返回首页