CNN（多种CNN结构，为什么用引入CNN，卷积层不考虑过拟合）

1.多种CNN结构

好多CNN结构都是在原来基础上做了深度和宽度方向上的扩展，从而将网络结构变得复杂，同时通过这种方式使模型效果变得好一点。
常见的CNN结构有LeNet-5、 AlexNet、ZFNet、VGGNet、GoogleNet、ResNet、DenseNet、SENet、 Residual Attention Networks、MobileNet、ShuffleNet等等。

从GoogleNet之前是层次增加（深度增加），GoogleNet及后面是深度和宽度两个方向上的扩展。

2.为什么要用CNN，不用传统神经网络做图片分类呢？

由于现在图片像素很大，所以用传统的全连接网络计算的话，计算量太大（参数量大），所以出现了新的网络结构，CNN。
从VGG开始就发现，再简简单单增加网络深度会出现相反的效果，使模型过拟合/模型退化。

3.CNN输入层一般不做PCA和白话

PCA底层就是SVD分解
CNN输入层一般不做PCA和白话，因为conv层就做的是和他们差不多的事（高阶特征提取）

4.人对物体的局部感知，已经卷积层的初引入

如果神经网络中只有一个隐层，隐层中只有一个神经元，那就相当于一张图片只提取了一个特征（所有像素值乘对应的权重。eg：2828的像素，乘以2828的w，再加上b，最终得到一个数值，把它作为从图片中提取的特征），但一个特征当然是不够的。那多加几个神经元，参数又太多（n个28*28的w），计算量太大。所以想一下，能不能参数少一点，并且效果还不错，卷积层就做的是这个事。

从生物学角度来讲，人看图片是一种局部感知，比如先看到物体的颜色，再看到形状，等等局部的特征，最后将这些特征信息合并，又或者看到图的一小部分区域，然后再看另一部分区域，然后将看到的所有局部区域合并，来分析出这个物体是什么。换句话说，就是：人看图像把图像划分成一个一个的区域，进行局部区域的感知，然后在深层网络中将感知的消息进行全连接。

而卷积层正好解决了全连接计算量大，不容易收敛，执行速度慢，以及全连接提取的特征不是那么好。

5.注意：卷积层不考虑过拟合的事

卷积中不考虑过拟合的事（有的人会认为步长小点会不会过拟合，因为有的数据算了好几遍（就是窗口滑动，图片有的区域被滑动窗口滑过好几次））