深度学习基础之《TensorFlow框架（18）—卷积神经网络（2）》

一、卷积层

1、卷积层（Convolutional Layer）介绍
卷积神经网络中每层卷积层由若干卷积单元（卷积核）组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的
卷积运算的目的是特征提取，第一层卷积层可能只能提取一些低级的特征，如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征

2、卷积核（Filter）的四大要素
卷积核 - Filter - 过滤器 - 模型参数
（1）卷积核个数
（2）卷积核大小
（3）卷积核步长
（4）卷积核零填充大小
接下来我们通过计算案例讲解，假设图片是黑白图片（只有一个通道）

3、卷积如何计算-大小
卷积核我们可以理解为一个观察的人，带着若干权重和一个偏置去观察，进行特征加权运算

注：上述要加上偏置

输入的图像：5 * 5，filter是3 * 3 * 1，乘以1个通道1
步长：是1，一次移动1格
输出：3 * 3 * 1

卷积核常用的大小：1 * 1，3 * 3，5 * 5
通常卷积核大小选择这些大小，是经过研究人员实验证明比较好的效果

观察之后会得到一个运算结果，那么这个人想观察所有这张图的像素怎么办？那就需要平移：

4、卷积如何计算-步长
需要去平移卷积核观察这张图片，需要的参数就是步长

假设移动的步长为一个像素，那么最终这个人观察的结果以下图为例：
5 * 5的图片，3 * 3的卷积大小，一个步长运算得到3 * 3的大小观察结果

如果移动的步长变成2，那么结果是这样：
5 * 5的图片，3 * 3的卷积大小，2个步长运算，得到2 * 2的大小观察结果

5、卷积如何计算-卷积核个数
那么如果在某一层结构当中，不止是一个人观察，多个人（卷积核）一起去观察，那就得到多张观察结果（盲人摸象？）
不同的卷积核带的权重和偏执都不一样，即随机初始化的参数

我们已经得出输出结果的大小由大小和步长决定的，但是只有这些吗？
还有一个就是零填充。Filter观察窗口的大小和移动步长有时会导致超过图片像素宽度！

6、卷积如何计算-零填充大小
零填充就是在图片像素外围填充一圈值为0的像素

7、总结-输出大小计算公式
如果已知输入图片形状，卷积核数量，卷积核大小，以及移动步长，那么输出图片形状如何确定？

通过一个例子来理解公式：
计算案例：
（1）假设已知条件：输入图像32*32*1，50个Filter，大小为5*5，移动步长为1，零填充大小为1。请求出输出大小？
H1 = 32
W1 = 32
D1 = 1
K = 50
F = 5
S = 1
P = 1

H2 = (H1 - F + 2P) / S + 1 = (32-5+2*1)/1+1 = 30
W2 = (H1 - F + 2P) / S + 1 = (32-5+2*1)/1+1 = 30
D2 = K = 50
所以输出大小为[30, 30, 30]

（2）假设已知条件：输入图像32*32*1，50个Filter，大小为3*3，移动步长为1，未知零填充，输出大小32*32，求零填充大小？
H1 = 32
W1 = 32
D1 = 1
K = 50
F = 3
S = 1
P = ?
H2 = 32

H2 = (H1 - F + 2P) / S + 1 = (32-3+2*P)/1+1 = 32
W2 = (H1 - F + 2P) / S + 1 = (32-3+2*P)/1+1 = 32
所以零填充大小为：1 * 1

8、多通道图片如何观察
如果是一张彩色图片，那么就有三种表分别为R，G，B。原本每个需要带一个3*3或者其他大小的卷积核，现在需要带3张3*3的权重和一个偏置，总共就27个权重。最终每个人还是得出一张结果：

输入图片：7 * 7 * 3
Filter：3 * 3 * 3 + bias，有2个filter
H1 = 5
D1 = 3
K = 2
F = 3
S = 2
P = 1
H2 = (5-3+2)/2+1 = 3
W2 = 和H2一样 = 3
D2 = 2

输出：3 * 3 * 2

9、卷积网络API
tf.nn.conv2d(input, filter, strides=, padding=, name=None)
说明：
（1）计算给定4-D input和filter张量的2维卷积
（2）input：输入图像，给定的输入张量，具有[batch, height, width, channel]四阶的形状，类型为float32,64
（3）filter：指定过滤器的权重数量，[filter_height, filter_width, in_channels, out_channels]
    filter_height：filter的高
    filter_width：filter的宽
    in_channels：输入图片的通道数
    out_channels：输出图片的通道数
（4）strides：需要传一维数组，strides = [1, stride, stride, 1]，步长
（5）padding："SAME"，"VALID"，具体解释见下面

Tensorflow的零填充方式有两种，SAME和VALID
（1）SAME：越过边缘取样，取样的面积和输入图像的像素宽度一致
    公式：ceil(H/S)
    H为输入的图片的高或者宽，S为步长
    无论过滤器的大小是多少，零填充的数量由API自动计算
（2）VALID：不越过边缘取样，取样的面积小于输入人的图像的像素宽度。不填充

在Tensorflow当中，卷积API设置"SAME"之后，如果步长为1，输出高宽与输入大小一样（重要）

二、激活函数

1、sigmoid函数
随着神经网络的发展，大家发现原有的sigmoid等激活函数并不能达到好的效果，所以采取新的激活函数

2、ReLU函数

当输入的值小于0，就都置为0；输入的值大于0，保持原状。就是在输入值和0之间求最大值

效果是一批数，只取了第一象限

3、为什么采用新的激活函数
ReLU优点：
（1）有效解决梯度消失问题
（2）计算速度非常快，只需要判断输入是否大于0。SGD（梯度下降）的求解速度远快于sigmoid和tanh
sigmoid缺点：
（1）采用sigmoid等函数，计算量相对大，而采用ReLU激活函数，整个过程的计算量节省很多
（2）在深层网络中，sigmoid函数反向传播时，很容易就会出现梯度消失的情况
（3）输入值的范围[-6, 6]
sigmoid：1/(1 + e^-x)

4、playground演示不同激活函数作用
网址：https://playground.tensorflow.org/
（1）ReLU
（2）tanh
（3）sigmoid

5、由于图像像素点是0-255，不会小于0，所以用ReLU可以符合识别图像特征

6、ReLU激活函数API
tf.nn.relu(features, name=None)
说明：
（1）features：卷积后加上偏置的结果
（2）return：经激活函数之后的结果