卷积神经网络（CNN)

1.应用类别：适合图像处理，以及不可以交换行列的情况。（表格可以交换行与列结果不变)

2.基本结构：输入-卷积-池化-全连接-softmax

2.1 卷积

卷积运算：略

常用卷积算子（卷积核维度=f)：以下为常用的横向识别算子，如需纵向，可以转过来，卷积核维数为f，一般情况下f为基数，方便填充。

 关于padding：（填充值=p）

假设输入维数为n，卷积核的维数为f，则输出维数会比输入维数要少为：（n-f+1），这样会使得输出越来越小（压缩主要靠池化和大卷积步长），边缘信息被阉割，所以使用填充数据的方法，习惯性填充0。

当不使用填充时候，称为valid卷积。此时p=0

当使用填充的时候，称为same卷积。若是3维卷积核，则p=1.

卷积步长（s）：

卷积后维数：

一般情况下，只在卷积核能完全覆盖数据的情况下才进行卷积运算，也即当不为整数时，向下取整。

多维卷积：

卷积后的结果可为：，其中为通道个数也即卷积核的个数。

2.2池化

超参：维度f，步长s，maxpool还是averagepool，一般情况下最大池化不用padding

2.3全连接层：包括梯度下降等等，最后 

3.经典模型

3.1LeNet-5（提出背景无padding，无ReLu）

从左往右看，图像尺寸一直在减小，通道数量却在不断增加

0.

1.卷积：f=5，s=1，,p=0

2.池化f=2，s=2,p=0(valid)

3.卷积：f=5，

4.池化f=2，s=2,p=0(valid)

5.平整化，变成一个400个元素的一维向量

6.两层全连接层

5.连接到softmax

3.2AlexNet（ReLu激活函数)

  

 1.

2.Valid-conv,f=11,s=4,通道=96 maxpool，f=3，s=2[227+(4-1)-(11-1)=55]

3.same-conv,f=5,s=1,通道=256 maxpool，f=3,s=2

4.3次卷积，sme-conv,f=3,s=1,通道=384...

5.maxpool f=3，s=2 

6.全连接以及1000个softmax输出

 3.3 VGG16