Deep Learning — 学习笔记&个人理解

l  一个神经网络最简单的结构包括：输入层、隐含层、输出层。

l  传统神经网络的反向传播过程：（http://www.cnblogs.com/charlotte77/p/5629865.html）

传统神经网络训练原理：通过“输入数据、目标输出数据、初始权重”，

l  CNN（卷积神经网络）基本概念

三个基本层：卷积层、池化层、全连接层

一、       卷积层：

http://blog.csdn.net/hearthougan/article/details/72910223(翻墙)

1.    个人理解卷积层的定义应该是：一个输入值经过卷积运算得到的结果层（卷积层中并不包含卷积核和卷积运算过程，只是因为卷积层存放的是经过卷积运算得到的结果，所以才被称为卷积层）。

2.    卷积层的作用就是特征提取。

3.    一个卷积核对应得到卷积层里的一张特征图。

4.    卷积核并不是简单的二维矩阵，它具有深度（或者说厚度），因此可以理解卷积核的通道概念（比如卷积核由很多层二维矩阵构成，那么它的每一层可以理解为此卷积核的一个通道）。

5.    一个卷积核对上一层的特征图进行卷积时，不一定会对上一层的所有特征图都进行卷积（特征提取），而是这一个卷积核通过特定的算法对其中的某几个特征图进行卷积（特征提取）从而得到一张特征图。当然此卷积核在对这几个特征图进行卷积时用到的通道可能是不同的。

6.    卷积层的输入值是：初始值经过卷积运算后得到的值

二、       池化层：

1.    池化层的通俗理解就是降维采样层，用来减少参数

2.    池化层没有激活函数

三、       全连接层：

全连接层与上一层的每一个特征图都连接（类似于传统神经网络的全连接方式）

l  卷积神经网络的反向传播：

1.    从池化层到卷积层的反向传播：

（假设池化层为L层，其误差灵敏度为δL,卷积层为L-1层）则：

所以逆过程为：上采样和激活函数的求导，即：

2.    从卷积层到池化层的反向传播：

（假设卷积层为L层，其误差灵敏度为δL,池化层为L-1层）则：

所以逆过程为卷积的逆运算：