Deep Learning（持续更新……）

2006年的3篇论文打开了 深度学习的格局，由Hinton的革命性的在深度信念网(Deep Belief Networks, DBNs)上的工作所引领：

Hinton, G. E., Osindero, S. and Teh, Y.,A fast learning algorithm for deep belief nets.Neural Computation 18:1527-1554, 2006

Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle,Greedy LayerWise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007

Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCunEfficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007

在这三篇论文中以下主要原理被发现：

表示的无监督学习被用于(预)训练每一层；

在一个时间里的一个层次的无监督训练，接着之前训练的层次。在每一层学习到的表示作为下一层的输入；

用有监督训练来调整所有层(加上一个或者更多的用于产生预测的附加层)；

DBNs在每一层中利用用于表示的无监督学习RBMs。Bengio et al paper 探讨和对比了RBMs和auto-encoders(通过一个表示的瓶颈内在层预测输入的神经网络)。Ranzato et al paper在一个convolutional架构的上下文中使用稀疏auto-encoders(类似于稀疏编码)。

一、Yoshua Bengio：

1.（2009）Learning deep architectures for AI

2.(2010)Why Does Unsupervised Pre-training Help Deep Learning

二、Geoffrey E. Hinton

1. (2006)A fast learning algorithm for deep belief nets

2.(NIPS2012)ImageNet Classification with Deep Convolutional Neural Networks

三、Xiaogang Wang

Learning ability + Data size

1.CNN:convolution filting;pooling(differet scales)
2.DBN:P(x,h1,h2...);pair-wised features.
3.Auto-encoding.
Three opinions:
1.Joint learning: 
pre-training-to get comparative performance;
        ref progress
2.High dimensional data transform:
hierarchical nonliear representation.
3.make the problem more challenging.(training data/pocess/prediction)   


Use the traditional method to form the new layer. 

代码集合：http://blog.csdn.net/zouxy09/article/details/11910527

Turials :

http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial

http://deeplearning.net/

http://deeplearning.net/tutorial/contents.html