一:可变形卷积:在感受野中引入了可学习的偏移量,能够使得感受野不再是死板的方形,而是与物体的实际形状贴近,偏移之后的卷积区域可以更好地去覆盖物体形状周围。下图展示了一个的标准卷积与可变形卷积的感受野差别。
图(a)表示原始的卷积,它的感受野是一个固定大小的正方形,即计算卷积时会在图中深绿色的点进行采样;图(b)则是一个可变形卷积,绿色箭头代表了采样点的偏移量,深蓝色的点代表偏移后的采样点,可见此时卷积核的感受野不再是一个固定的方形,而是通过偏移来任意变换;图(c)、(d)分别是可变形卷积的特殊情况,说明了可变形卷积可以让感受野产生了各种比例、各个方向、异形长宽比和旋转的变换。
二:空洞卷积:空洞卷积在普通卷积的基础上加入了空洞率,使其能够在不增加网络参数量的情况下提升网络的感受野。下图展示了空洞卷积与普通卷积的区别。
图(a)是普通的卷积核,图(b)是一个空洞参数为 2(参与计算的相邻元素之间的距离)的空洞卷积核,这个空洞卷积核其实是一个不连续的普通卷积核,除了中间带红点的位置权值不为 0 并参与卷积计算外,其他点的权值均为 0,对卷积计算结果不会做出贡献。
因此,空洞卷积具备如下两个优势:
(1)扩大感受野:使用空洞卷积可以使得参数量相同的情况下,增加卷积的感受野,原本的卷积核只能覆盖面积为9的区域,而相同参数量的空洞卷积则可以覆盖面积为 25 的感受野。且随着空洞参数的提升,感受野会进一步的増大,起到了原本池化层的作用。
(2)保持图像分辨率:由于空洞卷积可以认为是稀疏的普通卷积,在运算过程中可以通过 padding 操作使得输出特征图尺寸与输入特征保持一致。从而在图像分割或检测任务中,避免了下采样和上采样带来的信息损失。