Stacked autoencoder理论简析

出处:http://www.fengchang.cc/post/92

上次总结了了PCA的东西,提到PCA的目的主要是降维。

stacked autoencoder也可以做类似的事情。然而讲stacked autoencoder之前,先讲其基础,简单版本:autoencoder,

先来建立直觉,这个东西思想很简单,也是利用神经网络的结构,最基础的一个形式如下:

假设从图的下方输入,上方输出,这个autoencode看起来个 神经网络没什么区别,但是注意两点,第一,是输入跟输出的维度完全一样,例如上图都是5,第二是中间这个隐藏层为比输入维度要低。

 

神经网络嘛,说白了就是要确定这些层数结构,每层有几个神经元,是否全连接,连接的参数矩阵是什么。

 

在一般的MLP中,大家知道是一个有监督学习的过程,除了给定输入数据X之外,还要给定label Y,然后把X feed 到神经网络,并最小化神经网络的输出与label Y之间的差值,通过这种方法来训练神经网络的参数。

 

然而autoencoder的区别是这是个非监督学习的过程,也就是说不需要label Y, 训练时的优化目标是让输出值跟输入值尽可能接近,最好完全一样。这是在干什么呢?这里的思想其实就有趣了,可以这样理解,输入数据代表了一些信息,起初以一定维度的数据来表示,然后经过中间隐藏层编码后,维度被压缩(降低)了,但是最后还是还原成了一个与原始信息非常接近的数据,这个过程,就好像把文件先压缩,再解压缩,或者把文件加密再解密,数据的中间的形式(维度)发生了变化,但数据的信息量不变。这就是核心思想,类似PCA,假如我们把1000个维度的数据压缩到3个维度,这种操作我们需要他尽可能少地丢失信息,否则就没意义了。

 

所以根据以上思想,只要训练一个简单的,单隐藏层的神经网络,就可以用无监督的方式实现数据降维。

 

这就是最基本的autoencoder

 

那么stacked autoencoder其实就是上面讲的autoencoder的堆叠,如何堆叠呢,可以参考 这里

我这里总结一下,首先就是把上面的单层autoencode,变成多层,但训练的时候是一层一层训练的。

很多国内的博文说到这里就嗝屁了,非常讨厌,如果不说清楚什么叫“一层一层训练”,那TM等于没说。我把上面维基百科的解释自己总结如下:

第一层训练过程如下:

就是一个最基本的autoencode,需要构建一个临时的输出层(也就是图中最右边那层,维度跟原始输入完全一样),记住,输出目标还是尽可能还原原始输入,训练完后,得到第一层参数,W和b,保存下来,然后丢弃这个输出层,因为实际上这个输出层除了在训练过程中有用之外,之后并没有什么卵用。

 

随后把上面训练好的这个包含一个隐藏层的神经网络看做一个整体,任何灌入到它的数据都会以一个更低维的数据表示作为输出(比如我们可以记为h1~h4),然后对这个整体后面再添加第二层的神经元(维度更低),并添加构造一个临时输出层,然后同样的方式训练第二层,这里特别注意,我们把前面的整体输出(h1~h4)当成这第二层的输入了,那么构建第二个autoencoder时,添加的临时输出层就不再是原始的(x1~x6)了,而是第一部分的输出,即(h1~h4)。这一点是避免训练方式的误解的关键所在。

 

之后就是以此类推了。那么训练完这些层次之后,用来干什么呢?

前面已经解释了,从“信息量”的角度来说,这一层层保持得很好,跟原始数据差距不大,只不过它们用更低的维度来表示了数据,那么可以理解为更“精炼”版本的数据,接下来的工作,就是用这更“精炼”的数据了,比如feed到普通的神经网络或其他什么分类器当中whatever。下图就是一个例子,把多层降维后的数据feed到一个softmax分类器:

  • 24
    点赞
  • 58
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值