神经网络与机器学习 笔记—卷积神经网络（CNN）

卷积神经网络

之前的一些都是考虑多层感知器算法设计相关的问题，这次是说一个多层感知器结构布局相关的问题。来总结卷积神经网络。对于模式分类非常合适。网络的提出所隐含的思想收到了神经生物学的启发。

第一个卷积网络是为了识别二维形状而特殊设计的一个多层感知器，这种二维形状对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。这个艰巨的任务是通过如下网络在监督方式下学会的，网络的结构包括如下形式的约束。

1. 特征提取。每一个神经元从上一层的局部接收域得到突触输入，因而迫使它提取局部特征。一旦一个特征被提取出来，只要它相对于其他特征的位置被近似保留下来，他的精确位置就变得没有那么重要了。
2. 特征映射。网络的每一个计算层都是由多个特征映射组成的，每个特征映射都是平面形式的，平面中单独的神经元在约束下共享相同的突触权值。这种结构约束的第二种形式具有如下的有益效果：

平移不变性，强迫特征映射的执行使用具有小尺度核的卷积，再接着用一个sigmoid函数。

自由参数数量的减缩，通过权值共享实现。

1. 子抽样。每个卷积网层跟着一个实现局部平均和子抽样的计算层，由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他形式的变形的敏感度下降作用。

注意，在一个卷积网络所有层中的所有权值都是通过训练来学习的。此外，网络自动地学习提取它自