TensorFlow学习笔记——（7）卷积计算过程

全连接网络（NN）

1、定义
每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。

2、参数个数计算如下

3、例子
第一层参数：784×128个w+128个b
第二层参数：128×10个w+10个b
共101770个待训练参数

卷积计算过程

1、引入背景
实际项目中，图片多是高分辨率彩色图，因此待优化参数过多易导致模型过拟合。
为了减少待训练参数，在实际应用时，会先对原始图像进行特征提取，再把提取到的特征送给全连接网络。
卷积计算是一种有效的特征提取方法。

2、计算过程
（1）思路：一般会用一个正方形的卷积核，按指定步长，在输入特征图上滑动，遍历输入特征图中的每个像素点，每一个步长，卷积核会与输入特征图出现重合区域，重合区域对应元素相乘求和，再加上偏置项得到输出特征的一个像素点。

• 输入特征是单通道灰度图，使用深度为1的单通道卷积核
• 输入特征是三通道灰度图，可以使用3×3×3的卷积核，或者5×5×3的卷积核

总之，要使卷积核的通道数与输入特征图的通道数一致，也就是卷积核的深度与输入特征图的深度一致。所以输入特征图的深度决定了当前层卷积核的深度。
在卷积计算后会得到一张输出特征图，所以当前层使用了几个卷积核，就有几张输出特征图，所以当前层卷积核的个数决定了当前层输出特征图的深度。
如果觉得某层模型的特征提取能力不足，可以在该层多用几个卷积核，提高这层的特征提取能力。

1. 输入特征图的深度决定了当前层卷积核的深度
2. 当前层卷积核的个数决定了当前层输出特征图的深度

在执行卷积计算时，卷积核里的参数是固定的，当每次反向传播时，这些待训练参数，会用梯度下降法更新。
（2）计算过程
单通道的输入特征图：

三通道输入特征图