Deep learning的基本思想
假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>S2=>…..=>Sn => O,如果输出O等于输入I,即输入I经过这个系统变化之后没有任何的信息损失(这是不可能的。信息论中有个“信息逐层丢失”的说法(信息处理不等式),设处理a信息得到b,再对b处理得到c,那么可以证明:a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息,大部分处理会丢失信息)。那么每一层的输出就是原来信息的一种抽象表示,所以如果说输入是一幅图像,那么通过中间的N层,我们就可以得到N种图像的抽象特征。
Deep learning与neural network
Deep learning本身是machine learning的一个分支,可以理解为neural network的发展。neural network曾经是ML领域特别火热的一个方向,像我们之前接触到的感知器网络,径向基网络,自适应网络,霍普菲尔德网络等等。这些神经网络的算法有一个共同的特点,就是在训练的时候都使用的是误差反向传播的方法,首先由一个正向的误差传播的过程,反过来运用梯度下降法减小误差,所以在层数比较多的时候,误差的反向传播方法就会失效,因为这时候的梯度基本已经等于0了,所以对于多层次的神经网络是没有办法训练的。其次,神经网络的训练需要大量的经验,网络参数非常难以优化,还记得老师曾经在课堂上讲过,我们初学没有经验,所以一个简单的网络调个三五天都是正常的,而对他来讲,打眼一瞧就知道该怎么调试了。最后,就是i训练速度比较慢,层数比较少的时候训练结果也并不比其他的结果好。但是事情发展起来就是有太多的意外。Hinton和Bengio、Yann.lecun等提成了一个实际可行的deep learning框架。
深度学习的模型解释如上图所示
用计算机来理解粗略的输入数据是很困难的,比如讲这幅像素值集合而成的图像。将一系列像素映射到相应的语义物体的函数是非常的复杂的,那么学习或者是估计这种映射就几乎是不可能的,深度学习就是一种打破这种理想的复杂映射的方法,它将这种映射分为很多内嵌的小映射,而每一个映射都是由不同的层来描述的。所谓的可视层(visiblelayer)就是输入的数据,然后一系列逐渐增加的隐藏层用来提取抽象的特征。这里的这幅图像视为由隐藏层所代表的特征组成。给出一些像素,第一层就可以很容易的定义边缘,给出第一层隐藏单元所描述的边缘,第二层就可以很容易的定义corners和外延的轮廓(extended contours)。而这种corners以及extended contour可以视为边缘的集合。同样的,给出第二层隐藏单元所描述的 corners和extended contours,第三层就能够通过找到特定的corners and extended cntour来检测特定的语义物体的一整个部分,最终,形成一幅图像的描述。
(1)Deep Learning
(2)Deep Learning Methods for Vision
http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/
(3)Neural Network for Recognition of Handwritten Digits[Project]
http://www.codeproject.com/Articles/16650/Neural-Network-for-Recognition-of-Handwritten-Digi
(4)Training a deep autoencoder or a classifier on MNIST digits
http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html
(5)Ersatz:deep neural networks in the cloud
(6)Deep Learning
http://www.cs.nyu.edu/~yann/research/deep/
(7)Invited talk "A Tutorial on Deep Learning" by Dr. Kai Yu (余凯)
http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu
(8)CNN - Convolutional neural network class
http://www.mathworks.cn/matlabcentral/fileexchange/24291
(9)Yann LeCun's Publications
http://yann.lecun.com/exdb/publis/index.html#lecun-98
(10) LeNet-5, convolutional neural networks
http://yann.lecun.com/exdb/lenet/index.html
(11) Deep Learning 大牛Geoffrey E. Hinton's HomePage
http://www.cs.toronto.edu/~hinton/
(12)Sparse coding simulation software[Project]
http://redwood.berkeley.edu/bruno/sparsenet/
(13)Andrew Ng's homepage
http://robotics.stanford.edu/~ang/
(14)stanford deep learning tutorial
http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial
(15)「深度神经网络」(deep neural network)具体是怎样工作的
http://www.zhihu.com/question/19833708?group_id=15019075#1657279
(16)A shallow understanding on deep learning
http://blog.sina.com.cn/s/blog_6ae183910101dw2z.html
(17)Bengio's Learning Deep Architectures for AI
http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf
(18)andrew ng's talk video:
http://techtalks.tv/talks/machine-learning-and-ai-via-brain-simulations/57862/
(19)cvpr 2012 tutorial:
http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/tutorial_p2_nnets_ranzato_short.pdf
(20)Andrew ng清华报告听后感
http://blog.sina.com.cn/s/blog_593af2a70101bqyo.html
(21)Kai Yu:CVPR12 Tutorial on Deep Learning Sparse Coding
(22)Honglak Lee:Deep Learning Methods for Vision
(23)Andrew Ng :Machine Learning and AI via Brain simulations
(24)Deep Learning 【2,3】
http://blog.sina.com.cn/s/blog_46d0a3930101gs5h.html
(25)deep learning这件小事……
http://blog.sina.com.cn/s/blog_67fcf49e0101etab.html
(26)Yoshua Bengio, U. Montreal:Learning Deep Architectures
(27)Kai Yu:A Tutorial on Deep Learning
(28)Marc'Aurelio Ranzato:NEURAL NETS FOR VISION
(29)Unsupervised feature learning and deep learning
http://blog.csdn.net/abcjennifer/article/details/7804962
(30)机器学习前沿热点–Deep Learning
http://elevencitys.com/?p=1854
(31)机器学习——深度学习(Deep Learning)
http://blog.csdn.net/abcjennifer/article/details/7826917
(32)卷积神经网络
http://wenku.baidu.com/view/cd16fb8302d276a200292e22.html
(33)浅谈Deep Learning的基本思想和方法
http://blog.csdn.net/xianlingmao/article/details/8478562
(34)深度神经网络
http://blog.csdn.net/txdb/article/details/6766373
(35)Google的猫脸识别:人工智能的新突破
http://www.36kr.com/p/122132.html
(36)余凯,深度学习-机器学习的新浪潮,Technical News程序天下事
http://blog.csdn.net/datoubo/article/details/8577366
(37)Geoffrey Hinton:UCLTutorial on: Deep Belief Nets
(38)Learning Deep Boltzmann Machines
http://web.mit.edu/~rsalakhu/www/DBM.html
(39)Efficient Sparse Coding Algorithm
http://blog.sina.com.cn/s/blog_62af19190100gux1.html
(40)Itamar Arel, Derek C. Rose, and Thomas P. Karnowski: Deep Machine Learning—A New Frontier in Artificial Intelligence Research
(41)Francis Quintal Lauzon:An introduction to deep learning
(42)Tutorial on Deep Learning and Applications
(43)Boltzmann神经网络模型与学习算法
http://wenku.baidu.com/view/490dcf748e9951e79b892785.html
(44)Deep Learning 和 Knowledge Graph 引爆大数据革命
http://blog.sina.com.cn/s/blog_46d0a3930101fswl.html