卷积神经网络CNN

1.卷积层

cs231n课程中有一张卷积动图，貌似是用d3js 和一个util 画的，我根据cs231n的卷积动图依次截取了18张图，然后用一gif 制图工具制作了一gif 动态卷积图。如下gif 图所示（先相乘再相加）

 其中图像有三个通道，卷积核也有3通道（每一个卷积核）7*7*3的含义（其中7*7代表图像的像素/长宽，3代表R、G、B 三个颜色通道）

两个神经元，即depth=2，意味着有两个滤波器。

数据窗口每次移动两个步长取3*3的局部数据，即stride=2。

zero-padding=1。

中间部分是两个不同的滤波器Filter w0、Filter w1

最右边则是两个不同的输出

注意bias

2. ReLU激励层

 激活函数：ReLU

3.池化pool层

4.卷积神经网络之padding操作

valid

same

5. 全连接层——FC laye

全连接层中，两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部，因为尾部的信息量没有开始那么大。

 

 特点

1. 参数共享

2.多卷积核

上面所述只有100个参数时，表明只有1个10*10的卷积核，显然，特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，可以学习32种特征。

3.多层卷积

在实际应用中，往往使用多层卷积，然后再使用全连接层进行训练，多层卷积的目的是一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化

经典框架

1. LeNet，这是最早用于数字识别的CNN

2. AlexNet， 2012 ILSVRC比赛远超第2名的CNN，比LeNet更深，用多层小卷积层叠加替换单大卷积层
3. ZF Net， 2013 ILSVRC比赛冠军
4. GoogLeNet， 2014 ILSVRC比赛冠军
5. VGGNet， 2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如object detection)上效果奇好。
CNN经典模型框架展示与介绍

补充

1.一个77的卷积核 和 3个连续的3*3的卷积核的感受野大小一样，但后者的参数可少，并且每次进行的卷积都会进行一次非线性的激活，使得特征提取更为有效。

2.Inception模块，使用了分离卷积的思想

 3.1*1卷积的作用：特征融合，降低维数（降低channel的数量，减少运算）

4.Resnet

 5.BatchNorm