卷积神经网络的主要模块

卷积神经网络就是借助卷积核对输入特征进行特征提取，然后把提取到的特征送入全连接网络进行识别预测。

卷积神经网络的主要模块：

卷积（convolutional）–>批标准化(BN(batch noemalization))–>激活(Activation)–>池化（Pooling）–>全连接（FC）
特征提取包括：卷积、批标准化、激活以及池化四步
卷积就是特征提取器，就是CBAPD（convolutional,batch normalization,activation,pooling,dropout）

**全连接NN(neural network): **每个神经元与前后相邻层的每一个神经元都有连接关系，输入为特征，输出为预测的结果。
参数个数：

神经网络中（由于隐藏层层数增加，网络规模过大）待优化的参数过多容易导致模型过拟合。

为了减少待训练参数，在实际应用中回对原始图像进行特征提取，再把提取到的特征送给全连接网络。

卷积可以有效提取图像特征。一般会用一个正方形的卷积核，按照指定步长，在输入特征图上滑动，遍历输入特图中的么一个像素点。每一个步长，卷积核会与输入特征图出现重合区域，重合区域对应元素相乘、求和加上偏置项的到输出特征的一个像素点。

注意：要使卷积核的通道数与输入特征图的通道数一致（因为要想让卷积核与输入特征图对应点匹配上，必须让卷积核的深度与输入特征图的深度一致）

输入特征图的深度（channel数）决定了当前卷积层的深度
当前层卷积核的个数，决定了当前层输出特征图的深度。

感受野(Receptive Field)：卷积神经网络各输出特征图中的每个像素点，在原始输入图片上映射区域的大小。

由于卷积计算会缩小输入特征图的尺寸，所以为了保证输入特征图的尺寸不变，可以使用全0填充（padding）。

tensorflow中描述全0填充用参数padding=’SAME’或padding=’VALID’
批标准化（Batch Normalization,BN）
标准化：使数据符合0为均值，1为标准差的分布
批标准化：对一小批数据（batch），做标准化处理(常用在卷积操作和激活操作之间)

是批标准化后，第k个卷积核的输出特征图（feature map）中第i个像素点。

BN层位于卷积层之后，激活层之前。
卷积（convolutional)----->批标准化（BN）-------->激活(Activation)
池化（Pooling）—池化用于减少特征数据量
池化（包含最大值池化和均值池化），最大值池化可提取图片纹理，均值池化可保留背景特征。

舍弃：在神经网络训练时，常把隐藏层的部分神经元按照一定比例从神经网络中临时舍弃，使用时，再把所有的神经元恢复到神经网络中。