Deep Learning
LorryXY_*
有得必有失,有失必有得
展开
-
栈式自编码算法(SAE)
对于一个拥有输入层,隐藏层,输出层的三层神经网络,我们称之为shallow learning,它处理输入特征明显的数据效果很好,但对于比较复杂的数据需要引入更多的隐藏层,因为每一个隐藏层可以看作对上一层输出的非线性转换,也就可以学习到更加复杂的模型。 但是单纯的在原来三层网络上曾加隐藏层并没有带来更好的效果,因为层数曾加以后使用梯度下降法优化的是一个高度非凸的优化问题,训练误差很容易转载 2014-03-06 14:33:23 · 13306 阅读 · 0 评论 -
前馈网络及反向传播
本文主要介绍多层感知器模型(MLP),它也可以看成是一种logister回归,输入层通过非线性转换,即通过隐含层把输入投影到线性可分的空间中。如果我们在中间加一层神经元作为隐含层,则它的结构如下图所示 单隐层的MLP定义了一个映射: ,其中 D和L为输入向量和输出向量f(x)的大小。 隐含层与输出层神经元的值通过激活函数计算出来,例如下图:如果我们选用s转载 2014-03-06 14:39:52 · 1952 阅读 · 0 评论 -
卷积神经网络(CNN)
在上篇中介绍的输入层与隐含层的连接称为全连接,如果输入数据是小块图像,比如8×8,那这种方法是可行的,但是如果输入图像是96×96,假设隐含层神经元100个,那么就有一百万个(96×96×100)参数需要学习,向前或向后传播计算时计算时间也会慢很多。 解决这类问题的一种简单方法是对隐含单元和输入单元间的连接加以限制:每个隐含单元仅仅只能连接输入单元的一部分。例如,每个隐含单元仅仅连接输入转载 2014-03-06 14:42:52 · 2905 阅读 · 2 评论 -
深度信念网络(DBN)
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。1. 自联想神经网络与深度网络 自联想神经网络是很古老的神经网络模型,简单的说,它就是三层BP网络,只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入,而是允许一定的误差存转载 2014-03-06 18:49:31 · 10588 阅读 · 4 评论 -
机器学习入门:线性回归及梯度下降
本文写的非常精彩,读过之后,受益匪浅,故转载 2014-04-23 08:21:36 · 1163 阅读 · 1 评论 -
BP神经网络及MATLAB实现
youfaxian本文主要内容包括: (1) 介绍神经网络基本原理,(2) AForge.NET实现前向神经网络的方法,(3) Matlab实现前向神经网络的方法 。第0节、引例 本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_转载 2014-06-09 16:44:34 · 1850 阅读 · 0 评论 -
深度学习概述:从感知机到深度网络
深度学习概述:从感知机到深度网络文章目录机器学习基础感知机前馈神经网络自编码器受限波尔兹曼机深度网络卷积网络实现结论附录:相关资源(注:本文译自一篇博客,作者行文较随意,我尽量按原意翻译,但作者所介绍的知识还是非常好的,包括例子的选择、理论的介绍都很到位,由浅入深, 源文地址 )近些年来,人工智能领域又活跃起来,除了传统了学术圈外,Google、Mi转载 2015-01-03 10:57:51 · 1225 阅读 · 0 评论