深度学习知识总计

一、神经网络基础

二、卷积神经网络

卷积神经网络相比于一般的神经网络，除了基本的输入层和输出层外还有卷积层、池化层、全连接层。卷积神经网络基本结构如下。

 （1）卷积层

卷积层最主要的作用，是通过卷积核的形式从输入图像中提取特征，具体作用是对输入图像中特征进行局部感知，随后在高层将局部感知的特征信息整合起来得到全局特征信息。

设定实验需要的卷积核大小和步长大小，卷积核会根据步长大小逐行逐列与整个输入图像上相对应位置进行相乘求和的计算，最后输出新的特征图。一般情况下，卷积核越大就代表感受野越大，可以观察到的特征信息越多，获得特征的全局性也就越好，但是过大的卷积核会给模型带来计算负担，不利于模型深度的增加。所示为卷积核的工作原理。

 （2）池化层

池化层一般紧跟在卷积层之后，它的作用是通过下采样操作降低输入特征图的维度，减少计算参数，去除冗余信息。简单来讲就是压缩输入特征图的长和宽的运算，同时，池化后的特征图还是保留着原特征图中的重要信息，可以实现输入特征图的特征不变性。

一般的池化操作主要包括平均池化和最大池化，平均池化是算出输入特征域的平均值并当做该区域池化操作后产生的值，常应用于深层网络。因为深层网络的特征信息比较丰富，能够直接影响分类器作出判断，所以往往以均值的方式输出到一下层。最大池化是算出输入特征域最大值并当做该区
域池化操作后产生的值，一般应用在浅层网络中用以减少无用信息。

（3）全连接层
连接所有的特征，将输出值送给分类器（如softmax分类器）