RESNET的优缺点

原文链接：https://blog.csdn.net/qq_44324007/article/details/129675835

ResNet是由微软亚洲研究院提出的深度残差网络（Deep Residual Network）架构，它在2015年ImageNet图像分类比赛中大放异彩，取得了当时最好的结果。

ResNet的主要特点是使用残差模块（Residual Module）和残差连接（Residual Connection）来构建网络，这使得它可以训练更深的网络而不会出现梯度消失的问题。具体来说，ResNet引入了“跳跃式连接”（Shortcut Connection），即在每个残差模块中增加一个跨层连接，让信息可以直接传递到后面的层次，从而保留原始特征，并避免特征逐层消失。

ResNet通过不断增加网络深度，使得网络的性能不断提高，最终获得了当时最好的分类结果。ResNet的成功证明了深度学习网络的深度对于图像分类等任务的重要性，并且为深度学习的发展开创了新的方向。

ResNet的优点包括：
可以训练非常深的神经网络，避免了梯度消失问题，提高了模型的表达能力和性能；
使用残差连接可以保留原始特征，使得网络的学习更加顺畅和稳定，进一步提高了模型的精度和泛化能力；
训练时可以避免梯度消失和梯度爆炸问题，加速网络收敛。

ResNet的缺点包括：
1、需要大量的计算资源来训练和推理，特别是在网络较深时；
2、在某些情况下，ResNet可能会过拟合，需要通过正则化等方法进行处理。

3、Densely Connected Convolutional Networks 论文中指出在深度残差网络中有大量的冗余。

最近，随机深度被提出作为一种成功训练1202层ResNet的方法。随机深度通过在训练过程中随机删除图层来改进深度残差网络的训练。这表明并非所有的层都需要的，并强调了在深度残差网络中有大量的冗余。

4、Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs 论文中指出 resnet的感受野 其实并没有理论上那么大，虽然堆叠了很多网络层，但是有效深度是不够的。

我们曾经相信大 kernel 可以用若干小 kernel 来替换，比如一个 7x7 可以换成三个 3x3，这样速度更快（3x3x3< 1x7x7），效果更好（更深，非线性更多）。有的同学会想到，虽然深层小 kernel 的堆叠容易产生优化问题，但这个问题已经被 ResNet 解决了（ResNet-152 有 50 层 3x3 卷积），那么这种做法还有什么缺陷呢？——ResNet 解决这个问题的代价是，模型即便理论上的最大感受野很大，实质上的有效深度其实并不深，所以有效感受野并不大。这也可能是传统 CNN 虽然在 ImageNet 上跟 Transformer 差不多，但在下游任务上普遍不如 Transformer 的原因。也就是说，ResNet 实质上帮助我们回避了「深层模型难以优化」的问题，而并没有真正解决它
————————————————
版权声明：本文为CSDN博主「特特丶」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_43560561/article/details/127122094

————————————————
版权声明：本文为CSDN博主「沃洛德.辛肯」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_44324007/article/details/129675835

————————————————
版权声明：本文为CSDN博主「沃洛德.辛肯」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。