第四课 卷积神经网络（CNN）

数据输入层（图像为RGB）：
（1）求训练集上的均值，每个输入的图片减去均值（图像处理只做这一步）

卷积层：32323（3个颜色 RGB颜色通道）
每次只和数据窗口（中间小框框）来连接，数据窗口在滑动。
depth：和神经元的个数有关
stride:步长决定你需要滑动多少次才能滑动到边缘
填充值：填充0，作用，给定步长滑动时不一定能滑动到最后的位置
w0,w1代表两个神经元() depth=2
output:对应位置相乘然后求和
滤波器：通过权重抽出了他想知道的东西
参数共享机制：不管滑动到哪，通过同一个神经元的权重一样，有多少个神经元，就有多少组权重
激励函数：并不是所有的刺激（负无穷到正无穷）都需要往后传，到最后成为是否激活的概率
elu:输入的均值为0，就是正负对称
sigmoid的缺点：当输入的正值很大时，倒数为0，梯度下降进行不下去。
当使用RELU时，把梯度打印出来，怕突然变成0
池化层：图片变小了，但是内容不变
（1）max pooling（取数据窗口的最大值）
（2）average pooling
FC：前面一直在减小信息，加上全连接层，尽量不丢失太多的信息
lenet：厚度=神经元的个数，厚度很厚（例如600）
alexnet：用多层小卷积层（60）叠加替换单大卷积层
vggnet:把图片上的东西框出来很好，虽然人脸识别很好