膨胀卷积:在不降低图像分辨率的基础上聚合图像中不同尺寸的上下文信息,并且扩大了感受野的范围。
视野更大的好处是能够更多的提取上下文的特征更广了,因为从b的9个点相对于a的9个点的视野范围就更大了,比如原来的卷积核大小是3,只能卷3个字,看这3个字有没有相关性,是不是一个命名实体,但如果有些命名实体的6个字的,那么就识别不准,将它放大以后一下子就可以看6个字了,再放大一倍一下子又可以看9个字了。但是这里并不冲突,因为最后会全部综合起来,它的最大的优点就在于此,也就是可以解决更长层的依赖。在计算机视觉方面则是可以更好的理解图片的上下文信息。
深度可分离卷积:
它是一种因式分解卷积,将标准的卷积分解成一个标准的卷积和1x1的点卷积。假设原来的卷积的层数是N,通道数是M,卷积核的大小是kxk,图的大小是FxF,那么原始的卷积的参数量就是kxkxMxNxFxF,使用后的参数就是kxkxMxFxF+MxNxFxF。
分组卷积:将通道分成几组,因此参数会变成原来的1/n。