膨胀卷积学习笔记

因果卷积

 膨胀卷积

 混合膨胀卷积

1. 因果卷积：
   1. 常用于CNN网络处理序列问题
   2. 因果关系：时间t的状态预测依赖于前t-1个状态。
   3. 如果想要考虑长距离的变量之间的影响，需要增加卷积层数来增大感受野，但网络过深会导致梯度下降，训练复杂，所以提出了空洞卷积（膨胀卷积）
2. 膨胀卷积：
   1. 在卷积核中增加空洞来增加感受野，不增加过多的计算，但可以使得神经网络在同样的层数下，拥有更大的感受野
   2. 膨胀系数=1就是普通卷积
   3. 引入膨胀卷积的原因：卷积网络中一般使用池化卷积来增大感受野，但池化只有一些细节会丢失，后续上采样无法恢复丢失的细节。所以使用了膨胀卷积来替代（膨胀卷积的作用：增大感受野，保持特征的宽和高）
   4. 空洞卷积存在的问题：卷积核不连续，导致信息连续性损失，引起栅格效应（栅格效应：由于膨胀卷积核不连续，所以不是所有的像素都参与了计算，所以会损失信息的连续性）
   5. 解决方法是：第一次采用普通卷积（不会丢失底层信息），然后用不同的膨胀系数的卷积核，得到的感受野是一样的，但可以利用更多的信息
3. 当用到多个膨胀卷积时，需要设计各卷积核的膨胀系数使其刚好可以覆盖底层特征，于是提出了混合膨胀卷积（HDC）
4. 混合膨胀卷积（HDC），对比膨胀卷积主要包含以下特征：
   1. 非零元素最大距离：膨胀率需要满足：第i层最大的膨胀率=max(第i+1层的膨胀率-2X第i层的膨胀率，第i层的膨胀率)
   2. 锯齿结构：膨胀率设计成了锯齿状结构，例如[1,2,5,12,5]这样的循环结构
   3.  公约数不能大于1：叠加的膨胀卷积的膨胀率不能有大于1的公约数（如[2,4,6]）,否则会有栅格效应

参考：https://blog.51cto.com/u_15072927/4308099