卷积神经网络学习记录（1）

1.端到端的学习方式

• 2 汇合(池化)层的引入是仿照人的视觉系统对视觉输入对象进行降维（降采样）和抽象。在卷积神经网络过去的工作中，研究者普遍认为汇合层有如下三种功效：

（1）特征不变性。汇合操作使模型更关注是否存在某些特征而不是特征具体的位置。可看作是一种很强的先验，使特征学习包含某种程度自由度，能容忍一些特征微小的位移。

（2）特征降维。由于汇合操作的降采样作用，汇合结果中的一个元素对应于原输入数据的一个子区域，因此汇合相当于在空间范围内做了维度约减，从而使模型可以抽取更广范围的特征。同时减小了下一层输入大小，进而减小计算量和参数个数。

（3）在一定程度上防止过拟合。

• 3 激活函数

 激活函数层，又称非线性映射层。增加整个网络的非线性表达能力。

修正线型单元ReLu（Rectified Linear Unit），是目前深度卷积神经网络最常用的激活函数之一。

ReLu（其大于0的