一 常见技巧:
卷积神经网络:卷积操作,池化操作
深度可分离卷积:用精度损失换取速率提升
数据增强
迁移学习
二 结构特点:
卷积神经网络:
(卷积层 + 池化层) * N + 全连接层 * M
分类任务
全卷积神经网络:
(卷积层 + 池化层) * N + 反卷积层 * M
由于反卷积层的存在,可以使得输入输出的尺寸一样大,可用于物体分割
三 卷积操作
解决的问题:
全连接神经网络参数过多,难以计算,而且容易过拟合。
局部连接:图像的区域性。
参数共享:图像特性与位置无关,脸在图片的哪个地方都是脸。
padding:在外圈补0,可以使输入输出size一致
处理多通道
四 池化操作
用于减少计算量,最大程度保存信息
不重叠不补零
参数为步长和池化核的大小,没有用于求导的参互是
一定程度的平移鲁棒(如果图像进行微小的平移,那么先进行池化操作的话,可以保存周围的信息,所以稍后用卷积得到特征就会相同。不然的话,进过细微平移后的图片会产生不同的特征核)
损失零空间位置精度
五 深度可分离卷积
启发于google的Inception v3模型
不同是视野域,提升效率。
引入深度可分离卷积:
图(a)代表标准卷积。
假设输入特征图尺寸为,卷积核尺寸为,输出特征图尺寸为,标准卷积层的参数量为。
图(b)代表深度卷积
图(c)代表逐点卷积,两者合起来就是深度可分离卷积。
深度卷积负责滤波,尺寸为(DK,DK,1),共M个,作用在输入的每个通道上;
逐点卷积负责转换通道,尺寸为(1,1,M),共N个,作用在深度卷积的输出特征映射上。
深度卷积参数量为 ,逐点卷积参数量为 ,所以深度可分离卷积参数量是标准卷积的。
六 10monkeys实战
迁移学习:使用其他任务中训练好的模型参数去