神经网络总结

一、卷积层

通过卷积操作对输入图像进行降维和特征抽取。

• 卷积运算是线性操作，而神经网络要拟合的是非线性的函数，因此和前全连接网络类似，我们需要加上激活函数，常用的有 sigmoid 函数，tanh 函数，ReLU 函数等。
• 神经网络前部卷积层有小的感受野，可以捕捉图像局部、细节信息，即输出图像的每个像素（Activation激活值）只是感受到输入图像很小范围数值进行计算的结果。
• 后面的卷积层感受野逐层加大，用于捕获图像更复杂，更抽象的信息。经过多个卷积层的运算，最后得到图像在各个 不同尺度的抽象表示。

2、多层卷积的作用

如果堆叠了多层卷积层，则随着层次加深，提取的信息也愈加复杂、抽象，这是深度学习中很有意思的一个地方。最开始的层对简单的边缘有响应，接下来的层对纹理有响应，再后面的层对更加复杂的物体部件有响应。也就是说，随着层次加深，神经元从简单的形状向“高级”信息变化。换句话说，就像我们理解东西的“含义”一样，响应的对象在逐渐变化。

二、池化层

1、池化层主要的作用

（1）首要作用，下采样（downsamping）
（2）降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减小计算量、减小内存消耗等等。各种说辞吧，总的理解就是减少参数量。
（3）实现非线性（这个可以想一下，relu函数，是不是有点类似的感觉&#