神经网络结构学习--输入层、卷积层、激活层、池化层和全连接层

作为一只机器学习小白，最近读图像处理方面的论文很是吃力，特此补一下这方面的知识，做一下整理方便日后查阅。神经网络的结构包括输入层、卷积层、激活层、池化层和全连接层，下面逐层进行总结。

1.输入层

即输入要训练的数据，如果是图像的话，图像一般尺寸为【宽x高x深】，深度一般为3，即R,G,B三通道，灰度图就是1吧。

2.卷积层

局部感知：人的大脑识别图片的过程中，并不是一下子整张图同时识别，而是对于图片中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。

卷积计算：https://www.matongxue.com/madocs/32.html 建议看一下 太透彻了

卷积后的大小：(W-F+2P)/S+1

W:输入矩阵的大小，F：过滤器的大小，P：拓展边缘的层数，S：步长

https://www.cnblogs.com/wj-1314/p/9593364.html

通过特征提取我们可以获取到不同维度的矩阵

3.激活层

所谓激励，实际上是对卷积层的输出结果做一次非线性映射。 
　　如果不用激励函数（其实就相当于激励函数是f(x)=x），由上面卷积层计算可知，这种情况下，每一层的输出都是上一层输入的线性函数。容易得出，无论有多少神经网络层，输出都是输入的线性组合，与没有隐层的效果是一样的，这就是最原始的感知机了。 
常用的激励函数有：

• • Sigmoid函数
  • Tanh函数
  • ReLU
  • Leaky ReLU
  • ELU
  • Maxout

　　激励层建议：首先ReLU，因为迭代速度快，但是有可能效果不加。如果ReLU失效的情况下，考虑使用Leaky ReLU或者Maxout，此时一般情况都可以解决。Tanh函数在文本和音频处理有比较好的效果。

4.池化层

就是对特征图进行压缩，虽然矩阵减小，但仍保留主要特征。

5.全连接层

最后的输出层，连接所有的特征，将输出值送给分类器（如softmax分类器）。