本文深入探讨ResNet，重点介绍了其残差块的设计原理和作用。ResNet通过学习图像特征的残差，解决了深度网络训练中的梯度消失问题。此外，文中提到了在网络更深时采用的Bottleneck块，以减少参数量。最后，强调了ResNet中逐像素相加与DenseNet中特征图级联的区别。
ResNet
可参考来聊聊ResNet及其变种
【1】ResNet的一个重要设计原则是：当feature map大小降低一半时，feature map的数量增加一倍，这保持了网络层的复杂度。
【2】Resnet的核心思想就是更改了网络结构的学习目的，原本学习的是直接通过卷积得到的图像特征H(X)，现在学习的是图像与特征的残差H(X)-X,这样更改的原因是因为学习残差相比原始特征的直接学习更加容易。
上图说明了ResNet残差块与普通CNN的区别，图的左侧为普通的两层CNN，右侧为ResNet的残差块，在两个卷积之间做了直连，至于为什么直连要跨越两个卷积层，而不是一个？这个是实验验证的结果，在一个卷积层上加直连性能并没有太大提升。
论文还提到了另一种可以应用在更深的网络上的残差块——Bottleneck，如下图所示：
上面这样图能够说明二者的区别，左侧的输入通道数是64（它常出现在50层内的网络中），右侧的输入通道数是256（常出现在50层以上的网络中），而更深层的网络如果还沿用原来的残差块就会带来大量的
最低0.47元/天 解锁文章
1111
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
