ResNet
可参考来聊聊ResNet及其变种
【1】ResNet的一个重要设计原则是:当feature map大小降低一半时,feature map的数量增加一倍,这保持了网络层的复杂度。
【2】Resnet的核心思想就是更改了网络结构的学习目的,原本学习的是直接通过卷积得到的图像特征H(X),现在学习的是图像与特征的残差H(X)-X,这样更改的原因是因为学习残差相比原始特征的直接学习更加容易。
上图说明了ResNet残差块与普通CNN的区别,图的左侧为普通的两层CNN,右侧为ResNet的残差块,在两个卷积之间做了直连,至于为什么直连要跨越两个卷积层,而不是一个?这个是实验验证的结果,在一个卷积层上加直连性能并没有太大提升。
论文还提到了另一种可以应用在更深的网络上的残差块——Bottleneck,如下图所示:
上面这样图能够说明二者的区别,左侧的输入通道数是64(它常出现在50层内的网络中),右侧的输入通道数是256(常出现在50层以上的网络中),而更深层的网络如果还沿用原来的残差块就会带来大量的