关闭

deep learning---SAE(stacked autoencoder)

156人阅读 评论(0) 收藏 举报
分类:

SAE栈式自编码器参考自网页http://ufldl.stanford.edu/wiki/index.php/Stacked_Autoencoders点击打开链接

A stacked autoencoder is a neural network consisting of multiple layers of sparse autoencoders in which the outputs of each layer is wired to the inputs of the successive layer. 就是把前一层自编码器的中间的隐藏层(特征1)作为后一层自编码器的输入,再将得到的隐含层(特征2 )作为下一层的输入,如此重复,最后将得到的特征作为输入集输入到softmax classifier(或者其他分类器)中训练。然后整个网络训练完之后,将各个步骤得到的特征矩阵与分类器的参数合成新的网络。 (大概意思,仅供参考)

可以看下面这个例子增强理解

具体的例子

训练2个隐含层的MNIST 数字分类

First, you would train asparse autoencoderon the raw inputs x(k) to learn primary features h(1)(k) on the raw input.

Next, you would feed the raw input into this trained sparse autoencoder, obtaining the primary feature activations h(1)(k) for each of the inputs x(k). You would then use these primary features as the "raw input" to another sparse autoencoder to learn secondary features h(2)(k) on these primary features

Following this, you would feed the primary features into the second sparse autoencoder to obtain the secondary feature activations h(2)(k) for each of the primary features h(1)(k) (which correspond to the primary features of the corresponding inputs x(k)). You would then treat these secondary features as "raw input" to a softmax classifier, training it to map secondary features to digit labels.


Finally, you would combine all three layers together to form a stacked autoencoder with 2 hidden layers and a final softmax classifier layer capable of classifying the MNIST digits as desired。

组成新的网络

大致实验步骤:

  1. 初始化参数;
  2. 在原数据上训练第一个自编码器,然后算出L1 features;
  3. 在L1 features上训练第二个自编码器,然后算出L2 features;
  4. 在L2 features上训练softmax分类器;
  5. stacked autocoders+softmax模型,用BP算法微调参数;
  6. 测试模型

 栈式自编码具有很强大的表达能力及深度网络的所有优点, 自编码器倾向于学习到数据的特征表示 对于栈式自编码器,第一层可以学习到一阶特征,第二层可以学到二阶特征等等,对于图像而言,第一层可能学习到边,第二层可能学习到如何去组合边形成轮廓、点,更高层可能学习到更形象且更有意义的特征,学到的特征方便我们更好地处理图像,比如对图像分类、检索等等。

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Deep Learning模型之:AutoEncoder自编码器

9.1、AutoEncoder自动编码器         Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,...
  • u010555688
  • u010555688
  • 2014-04-24 22:01
  • 14513

DeepLearnToolbox代码详解——SAE,DAE模型

一:引言.sae,dae,dropout模型简介 上面提到的三个模型都是在经典的多层神经网络的基础上加深构架得到;例如sae(Stack autoencoder)就是理堆叠多个autoencoder...
  • whiteinblue
  • whiteinblue
  • 2014-07-16 16:31
  • 15021

Deep Learning(深度学习)学习笔记整理系列

作者整理了很多深度学习的资料写成的学习笔记,非常适合初学者了解深度学习的概念和思想。 转自:http://blog.csdn.net/zouxy09/article/details/8775360 ...
  • eli00001
  • eli00001
  • 2015-04-02 10:21
  • 1114

Deep Learning by Andrew Ng --- stacked autoencoder

When should we use fine-tuning?It is typically used only if you have a large labeled training set; i...
  • meanme
  • meanme
  • 2015-04-08 20:05
  • 1879

【面向代码】学习 Deep Learning(四) Stacked Auto-Encoders(SAE)

========================================================================================== 最近一直在看...
  • liuheng0111
  • liuheng0111
  • 2016-10-12 14:10
  • 217

读书笔记:Deep Learning [Ada-Computation&ML series]--chapter 14.Autoencoder

part0.概述 1.公式:g( f(x) ) = x. 2.用途:降低维度,比同等维度的PCA的效果好;信息检索(图片或文字的),通过语意哈希 part1.欠完备autoencoder 1.定义...
  • lebula
  • lebula
  • 2016-10-21 15:19
  • 418

Deep Learning by Andrew Ng --- Sparse Autoencoder

这是UFLDL的编程练习,因为只看到第一章节,还没有看到向量化,所以本篇博客只注意对算法的理解,没有注意向量化。因为进入机器学习领域也只有一个多月,许多错误之处望指出。 传统的神经网络一般用于监督学...
  • meanme
  • meanme
  • 2015-03-29 16:11
  • 1053

Deep learning:八【sparse autoencoder】

前言:   这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder,即稀疏模式的自动编码。我们知道,deep learning也叫做unsuper...
  • u013603806
  • u013603806
  • 2014-04-05 17:45
  • 514

Deep Learning(深度学习)学习笔记整理系列之(六)AutoEncoder自动编码器

Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 201...
  • xiewenbo
  • xiewenbo
  • 2016-06-14 22:44
  • 1581

Deep Learning(深度学习)学习笔记整理系列之(四) --AutoEncoder自动编码器

原文地址:http://blog.csdn.net/zouxy09/article/details/8775524 Deep Learning(深度学习)学习笔记整理系列 zoux...
  • xceman1997
  • xceman1997
  • 2013-07-20 21:57
  • 3036
    个人资料
    • 访问:8237次
    • 积分:314
    • 等级:
    • 排名:千里之外
    • 原创:21篇
    • 转载:0篇
    • 译文:2篇
    • 评论:0条