1.应用类别:适合图像处理,以及不可以交换行列的情况。(表格可以交换行与列结果不变)
2.基本结构:输入-卷积-池化-全连接-softmax
2.1 卷积
卷积运算:略
常用卷积算子(卷积核维度=f):以下为常用的横向识别算子,如需纵向,可以转过来,卷积核维数为f,一般情况下f为基数,方便填充。
关于padding:(填充值=p)
假设输入维数为n,卷积核的维数为f,则输出维数会比输入维数要少为:(n-f+1),这样会使得输出越来越小(压缩主要靠池化和大卷积步长),边缘信息被阉割,所以使用填充数据的方法,习惯性填充0。
当不使用填充时候,称为valid卷积。此时p=0
当使用填充的时候,称为same卷积。若是3维卷积核,则p=1.
卷积步长(s):
卷积后维数:
一般情况下,只在卷积核能完全覆盖数据的情况下才进行卷积运算,也即当不为整数时,向下取整。
多维卷积:
卷积后的结果可为:,其中为通道个数也即卷积核的个数。
2.2池化
超参:维度f,步长s,maxpool还是averagepool,一般情况下最大池化不用padding
2.3全连接层:包括梯度下降等等,最后
3.经典模型
3.1LeNet-5(提出背景无padding,无ReLu)
从左往右看,图像尺寸一直在减小,通道数量却在不断增加
0.
1.卷积:f=5,s=1,,p=0
2.池化f=2,s=2,p=0(valid)
3.卷积:f=5,
4.池化f=2,s=2,p=0(valid)
5.平整化,变成一个400个元素的一维向量
6.两层全连接层
5.连接到softmax
3.2AlexNet(ReLu激活函数)
1.
2.Valid-conv,f=11,s=4,通道=96 maxpool,f=3,s=2[227+(4-1)-(11-1)=55]
3.same-conv,f=5,s=1,通道=256 maxpool,f=3,s=2
4.3次卷积,sme-conv,f=3,s=1,通道=384...
5.maxpool f=3,s=2
6.全连接以及1000个softmax输出
3.3 VGG16