深度学习笔记 -- CNN

硕士的方向主要是深度学习，完了吴恩达老师的深度学习的课程以后，感觉还应该对最近的学习做一个总结。

1、算法思想：卷积神经网络可以看做前馈网络的特例，主要在网络结构上对前馈网络进行简化和改进，而利用反向传播算法，更多的是用来对卷积神经网络进行训练。

2、CNN结构：CNN是一种前馈性的网络，每个卷积层是由一个或多个二维的平面组成的，每个平面有多个神经元。由输入层、卷积层、池化层、全连接层、输出层。

2.1、输入层：cnn的输入层直接可以接受二维图像，但是由于在卷积层以后要连接若干个全连接层，所以输入图像的大小的一定的。改进了以后的cnn—FCN因为是在像素级处理，采用反卷积层对最后一个卷积层的feature map进行采样，使其可以恢复到原来的尺寸，可以对每一个像素进行预测，所以可以实现任意尺度的输入。该层主要对图像进行预处理，去均值、归一化、PCA/白化。

2.2、卷积层：卷积层是cnn中我认为最重要的一层，但也很容易理解，可能是因为涉及到的数学方面的知识比较浅。卷积层其实就是特征提取层，每个卷积层中都包括多个卷积神经元，每个神经元和前一层网络的对应位置的局部感受域相连，这就涉及到一个局部连接的概念，在下面我会进行简单的介绍。提取该图像的部分特征，这里要提到一个权重共享，权重共享减少了参数的数量，让计算简化了。我们通过设计多个卷积层，cnn可以抽取多个不同特征用于最后的分类。

2.2.1、 局部相连：每个神经元都与输入神经元的一块区域连接，