卷积神经网络学习笔记

1. 感受野
   每一个神经元所能够反映的那块感受器的区域就称之为“感受野”，感受野即每一个神经元所支配的区域，也可以说这个神经元的活动受到那一块区域的影响。同理，卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小，就是图像的最终输出的每一个特征（每一个像素）到底受到原始图像哪一部分的影响。
2. padding
   对输入图像进行padding–填充像素，增加图像采集区域的外围一圈或多圈，这样卷积核采集信息时，就会对边缘信息的处理不止处理一次，对边缘信息的提取更加充分
3. depth
   深度即神经元个数
4. pooling
   Average pooling 平均池化：可以提取背景信息，每个区域不取最大值，而取平均值（可以不是整数）。通常用于末端卷积；
   max-pooling 最大池化：取最大值作为输出层对应区域的值可以提取特征纹理，不会受背景信息影响。最大池化很少用padding（p=0）只是计算神经网络某一层的静态属性。通常用于前端卷积；
   最大池化和最小池化解空间一样，但这仅仅针对中心对称的函数，如sigmoid、tanh、linear等等，如果是ReLU等，最小池化让神经网络轻易过拟合甚至无法训练（因为你的网络池化层的输出结果大面积被0占据，偏置量很容易成为了控制输出的主力）。