UFLDL教程答案(8):Exercise:Convolution and Pooling

教程地址：http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

练习地址：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Convolution_and_Pooling

 

1.要点简述

卷积神经网络4个核心点：

局部连接，权重共享，池化，多层。

卷积神经网络结构可以看教程或者

http://blog.csdn.net/zouxy09/article/details/8781543

（1）局部连接与权值共享：

之前使用的mnist数据集28*28小图片使用全连接计算不会太慢，但如果是自然图片98*98，你需要设计近10 的 4 次方（100*100）个输入单元，假设你要学习 100 个特征，那么就有 10 的 6 次方个参数需要去学习。不管是前向传播还是反向传播都会很慢。

所以：每个隐含单元仅仅只能连接输入单元的一部分。例如，每个隐含单元仅仅连接输入图像的一小片相邻区域。这就是局部连接。

局部连接与权值共享不单单是为了减少计算量，这种方式是受人脑视觉神经系统启发设计的。设计原因有俩点：

1.自然图像中局部信息是高度相关的，形成局部motifs(这个词不知道该翻译成什么好，有点只可意会不可言传的感觉)；

2.图像的局部统计特性对位置具有不变性，也就是说如果motifs出现在图像的某个地方，它也可以出现在任何其他地方。所以权值共享可以在图片的各个地方挖掘出相同的模式（一个feature map就挖掘一种模式）。

 

绿色为原图5*5，黄色为某个卷积核 3*3，红色3*3就是得到的一个feature map，为原图与此卷积核卷积的结果（也可以说原图被提取的特征）

注意有：feature map的3*3=（5-3+1）*（5-3+1）,等式右边5为绿色长宽，3为黄色长宽

（2）池化：

虽然前面已经减少了很多参数，但是计算量还是很大，并且容易出现过拟合 (over-fitting)，所以需要池化。

池化一般是最大值池化和平均值池化。

池化是平移不变性 (translation invariant)的关键。这就意味着即使图像经历了一个小的平移或者形变之后，依然会产生相同的 (池化的) 特征。