Res2Net
论文地址:https://arxiv.org/pdf/1512.03385.pdf
resnext在各大检测/分割任务中可以说是常客了,Faster Rcnn/cascade rcnn+xt101+FPN+DCN这一整套可以说是检测分割任务做baseline最好的选择之一了,基本上都不会让人失望,作为特征提取网络的核心,backbone的性能直接决定了检测或者分割网络的精度,下面就是对resnext的介绍:
早在AlexNet时代,为了解决显存不够大的问题,提出了分组卷积的概念,通过相同网络拓扑结构进行一个堆叠来控制参数,resnext更简单直接,对原来resnet的1x1->3x3->1x1结构动刀,减少了单一分支3x3卷积核个数,同时采用多通道的形式将3x3卷积变的更加细粒度,如下图所示
这张图可以说就是整个resnext的核心思想,相比resnet增加了一个新参数cardinality,其实就是分组的个数
对于Inception结构,虽然也是多路卷积,但是人工的构造太深了,Inception的本质其实也是split-transform-merge,输入通过split将channel分成多路,每一路做卷积特征转换,最后融合所有结果,
如上图所示,Inception过于复杂,同时人工设计的痕迹太重,其实split-transform-merge模式在fc层就得到了应用
对输入的x1,x2等元素,一对一进行权重加权计算,然后merge求和,最后经过激活层。
所以一个神经网络的通用单元其实就可以如以下所示:
上面的C其实就是resnext的超参cardinality
考虑到ResNet的残差映射,改写上面公式:
在pytroch中,普通的卷积api Conv2d其实就已经把组卷积放进去了:
torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)
当groups=1时就是
普通卷积,当groups不等于1时就是对输入channel进行分组,这个时候输出的维度out_channel就必须是in_channel 的整数倍
两种网络结构对比,可以很明显的看出来resnext的参数基本上没有增加,可以说相比resnet有一个硬提升。