深度学习中的各种卷积

参考链接：
机器之心文章

1. 卷积
2. 3d卷积
3. 1*1卷积
4. 转置卷积
5. 空洞卷积
6. 可分卷积

具体内容：
1.

8. 3d卷积常用于视频领域和医疗领域，从d, w, h三方面进行卷积，比起2d卷积能够获取时序特征。
RGB图片也是3维通道，常用形式为wh3，这里的3是channel信息，实际上使用的仍然是2d卷积，从w，h的角度做卷积，不对通道做变换，但是3d卷积从w, h, d三个角度做卷积。
9. 11卷积
1)、在相同尺寸的感受野中叠加更多的卷积，能提取到更丰富的特征。(NIN) ,融合通道特征，增强非线性表达能力
2)、用来降维，从而降低计算量
10. 转置卷积
有点复杂==计算公式
将小的feature map上采样到大的feature map，注意步长>1时的补零。
11. 空洞卷积
空洞rate=1时，与正常卷积一样，空洞rate=2时，如下图

在源码中，将kernal补零进行再与原图进行计算，比如33的kernal，dilated rate=2的话，实际计算中，kernal会扩充到55，中间部分补零计算。
优点：
在不增加计算量的前提下扩大感受野
缺点：
因为感受野不连续，对于小目标检测不友好。–要解决的话要好好设计dilated rate，使得感受野连续
内部数据结构丢失；空间层级化信息丢失。
小物体信息无法重建 (假设有四个pooling layer 则 任何小于 2^4 = 16 pixel 的物体信息将理论上无法重建。)
12. 可分卷积
nn的卷积分成n1和1n卷积，参数量大大减少，从n*n计算量变成了n+n。典型模型是mobile net
尽管空间可分卷积能节省成本，但深度学习却很少使用它。一大主要原因是并非所有的核都能分成两个更小的核。如果我们用空间可分卷积替代所有的传统卷积，那么我们就限制了自己在训练过程中搜索所有可能的核。这样得到的训练结果可能是次优的。