CNN 初认识

昨天去跟别人讲CNN，感觉自己的深度学习的东西a mass 。每天进步一点点。从今天开始：

深度学习的优势在于特征提取

CNN 在我的理解就是5层的一个网络，每一层卷积层的后面带一层下抽样层

以lecun 的网络为例：

就是一个五层的网络，有两层卷积层，两层下抽样层，一层输入，一层输出

CNN 的目标是 找到一组最优的W,b

在训练每一层的W,b 的时候，其他的层固定不变，这样就相当于是一个. 这样训练每一层的时候就是一个单层的神经网络？

自编码具有加速的功能？是不是可以用在CNN 上面。

CNN 在图像上面的效果会比较好。但是清华的语音用的也是CNN。我的理解是可能是CNN 比较简单，目前对于RBM跟自编码没有了解。

 2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是：

1）首先逐层构建单层神经元，这样每次都是训练一个单层网络。

2）当所有层训练完后，Hinton使用wake-sleep算法进行调优