1.深度可分离卷积
可分离卷积:空间可分离卷积和深度可分离卷积。
空间可分离卷积:将大的卷积核变成两个小卷积核的乘积。
深度可分离卷积:深度卷积+逐点卷积
深度卷积:卷积核拆分成单通道形式,对每个通道进行卷积。
逐点卷积:1*1卷积核,进行通道融合。
过程:
例如:
Conv:input:12×12×3 + 5×5×3×256卷积核====>output:8×8×256
SeparableConv:
input:12×12×3 +5×5×1×3卷积(逐个通道,可看做5×5×3的卷积,将每一个channel拿出来就是5×5×1×3)=====>mid:8×8×3 + 1×1×3×256 ==>output:8×8×256
计算量对比:
Conv
SeparableConv:
效果:
参数和计算量能下降为后者的九分之一到八分之一左右。但是准确率只有下降极小的1%。
2.Squeeze-and-Excitation Networks(SE重要,可使用)
通过学习的方式来自动获取到每个通道的重要程度,然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征
U是个feature map H×W×C
经过第一个FC得到1×1×C的feature map 得到每个通道的信息
再经过一个FC得到1×1×C的feature map得到每个通道的权重信息
最后与U通道加权,得到加权后的feature map