ResNet最新变体！性能反超Transformer，模型准确率达98.42%

最新推荐文章于 2025-04-06 19:38:44 发布
最新推荐文章于 2025-04-06 19:38:44 发布
阅读量6.8k 收藏 58
点赞数 19
分类专栏： 人工智能干货 深度学习干货 文章标签： ResNet 残差网络 人工智能 计算机视觉 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/137882359
版权
文章探讨了ResNet在深度学习中的重要地位，介绍了几种关键的改进变体如FC-ResNet、TB-ResNet和D-ResNet，它们通过结合其他技术、优化模型结构和利用频域信息等方式，提升了模型的性能、准确性和效率。作者还提供了多个相关论文和开源代码资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目前ResNet（残差网络）有两大主流创新思路：一是与其他技术或模型结合，比如前文讲到的ResNet+Transformer；二是在原始设计的基础上进行改进。

尽管ResNet通过残差学习有效改善了深层网络的训练和性能，但同时它也面临着计算资源消耗大、过拟合风险、网络冗余和梯度相关性等挑战。

为克服这些挑战，研究者们基于原始的ResNet架构设计了多种变体，比如性能反超Transformer的ConvNeXt、准确率高达98.42%的FC-ResNet等。这些改进方案解决了深层网络训练中的梯度消失问题，并简化了学习过程，在提高模型精度和训练效率方面表现出色。

因此，针对ResNet变体的研究一直是深度学习领域的热门方向。为帮助同学们深入了解，这次我整理了19个ResNet改进方案，有2024最新的，也有经典必看的，模型原文以及开源代码已附，方便同学们复现。

论文原文以及开源代码需要的同学看文末

FC-ResNet

FC-ResNet: A Multilingual Handwritten Signature Verification Model Using an Improved ResNet with CBAM

最低0.47元/天 解锁文章
ResNet 改进：添加LSKBlock动态调整其大空间感受场
Henry的博客
02-25 102
它结合了局部特征、语义特征和全局特征，以提升模型的特征提取能力。LSKBlock通过不同大小的卷积核提取多尺度特征，捕捉局部细节和全局上下文信息。模块包含一个特征选择机制，能够根据任务需求动态选择重要特征，抑制不重要的特征。通过注意力机制或类似方法，动态选择并融合不同尺度的特征，生成最终的特征表示。使用大卷积核或全局池化提取全局特征，捕捉图像的全局上下文信息。使用中等大小的卷积核提取语义特征，捕捉物体的部分和整体信息。使用小卷积核提取局部特征，捕捉图像中的细节信息。
超越ResNet最强变体！谷歌提出卷积+注意力新网络：CoAtNet，高达89.77%准确率！
Maple__Boy
07-23 866
论文：https://arxiv.org/abs/2106.04803 Transformer跨界计算机视觉虽然已取得了一些不错的成绩，但大部分情况下，它还是落后于最先进的卷积网络。 现在，谷歌提出了一个叫做CoAtNets的模型，看名字你也发现了，这是一个Convolution + Attention的组合模型。 该模型实现了ImageNet数据集86.0%的top-1精度，而在使用JFT数据集的情况下实现了89.77%的精度，性能优于现有的所有卷积网络和Transformer！ 卷积结合自注意，更强的泛
ResNet和Transformer的创新架构炸场！高性能低参数，准确率达99.12％
2401_85325557的博客
12-20 759
在2024年，深度学习领域的研究者们在追求论文发表和模型性能提升时，不妨关注一下结合了ResNet和Transformer的创新架构——EfficientRMT-Net。这一模型将Transformer的全局信息处理能力与ResNet-50的深度残差结构相结合，实现了99.12%的惊人准确率。这种融合之所以有效，是因为它能够充分发挥两种架构的优势：ResNet的深度残差结构有助于网络深入学习复杂特征，而Transformer则在这些特征的基础上，进一步理解和整合它们之间的复杂关系。
ResNet 残差神经网络一些类型与变体
m0_54470017的博客
11-28 578
ResNet-18和ResNet-34使用BasicBlock，适合层数较少的网络。ResNet-50、ResNet-101和ResNet-152使用Bottleneck，适合层数较多的深层网络，通过1x1卷积降低参数数目和计算量。
ResNet18+SENet 实现cifar10分类 training准确率95.66%,test准确率90.77%
04-30
基于TensorFlow2利用ResNet18+SENet 实现cifar10分类 training准确率95.66%,test准确率90.77%
【致敬ImageNet】ResNet 6大变体：何恺明,孙剑,颜水成引领计算机视觉这两年
mmc2015的专栏
07-23 7708
文章写得挺好，故转载来。 http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652001197&idx=1&sn=4239318655806de8ed807d44cdb1b99c&chksm=f121275cc656ae4a3ad2dedc3b7a53b57fe92f76b97fc1c237bcf9e6a4cdb8adba67ff470d
ResNet网络的改进版：ResNeXt
qq_41387508的博客
12-04 3034
之前的文章讲过ResNet网络的基本架构，其本质就是让网络的学习目的从学习转为学习，也就是学习输入和输出之间的残差信息，从而缓解了梯度消失和网络退化问题。 本文讲下ResNet网络的改进版：ResNeXt。 架构 下面是ResNet和ResNeXt的架构对比： 引用自参考1 从上图中便可以看到ResNeXt的核心：用了类似于Inception的思想，把残差块的一条路径变成多条路径。 如果看原文也可以发现，其实作者最主要的对标就是Inception的模块。在Inception中，作者设计了4个不同的路径来从数
ResNet改进(19)：基于PyTorch的ResNet改进方案详解：Mish激活+SPP模块+MixUp数据增强
最新发布
2401_82355416的博客
04-06 435
ResNet作为深度学习领域里程碑式的网络架构，在图像分类等计算机视觉任务中表现出色。然而，随着研究的深入和技术的发展，原始的ResNet架构仍有改进空间。本文将详细介绍一种基于PyTorch的ResNet改进方案，该方案融合了Mish激活函数、SPP模块和MixUp数据增强等先进技术，显著提升了模型性能。本改进方案主要包含以下几个关键技术点：使用Mish激活函数替代传统的ReLU引入空间金字塔池化(SPP)模块采用MixUp数据增强技术优化残差连接结构使用AdamW优化器配合余弦退火学习率调度。
ResNet变体：ResNeXt
CV计算机视觉
06-06 661
论文标题： 1.对ResNet的改进思想 作者受到了如下几篇论文的启发： （1）Going deeper with convolutions. （2）Batch normalization: Accelerating deep network training by reducing internal covariate shift. （3）Rethinking the inception architecture for computer vision. （4）Inceptionv4, inceptio
ResNet变体(wide residual network，ResNext，DenseNet，MobileNet，ShuffleNet, Dual path Network)
小白的深度学习的博客
05-11 1936
2015 年，152 层深的 ResNet 横空出世，不仅取得当年ImageNet竞赛冠军，相关论文在CVPR 2016斩获最佳论文奖。ResNet成为视觉乃至整个 AI 界的一个经典。自那以后，ResNet 得到许多调整和改进，2017 年，基于 ResNet 的双通道网络 DPN 再夺ImageNet冠军，并将 200 层 ResNet 的计算量降低了 57%。本文从 ResNet 的背景知识...
ResNet及其改进
苟利国
09-11 8127
Deep Residual Learning for Image Recognition (ResNet_v1) Identity Mappings in Deep Residual Networks (ResNet_v2)   ResNet一系列网络模型及其在ImageNet上的训练代码，我在TF-slim提供的代码的基础上进行了一些修改 https://github.com/Litho...
Pytorch实现：使用ResNet18网络训练Cifar10数据集，测试集准确率达到95.46%(从0开始，不使用预训练模型)
01-06
本文将介绍如何使用数据增强和模型修改的方式，在不使用任何预训练模型参数的情况下，在ResNet18网络上对Cifar10数据集进行分类任务。在测试集上，我们的模型准确率可以达到95.46%。在Kaggle的Cifar10比赛上，我训练...
结合创新！ResNet+Transformer，高性能低参数，准确率达99.12％
学姐带你玩AI的博客
04-12 6484
ResNet因其深层结构和残差连接，能够有效地从图像中提取出丰富的局部特征。同时，Transformer的自注意力机制能够捕捉图像中的长距离依赖关系，为模型提供全局上下文信息。这种策略结合了两者分别在处理空间、序列数据上的优势，强化了模型特征提取和全局理解方面的能力，比如高性能低参数的SpikingResformer，以及准确率高达99.12％的EfficientRMT-Net。本文整理了，并简单提炼了可参考的方法以及创新点，希望能给各位的论文添砖加瓦。论文以及开源代码需要的同学看文末。
ResNet与Transformer的完美融合，低耗高效，准确率直逼99.13%！
AIzhijie001的博客
11-25 1302
将这两种架构结合起来，旨在充分利用CNN的局部特征提取能力和Transformer的全局建模能力，以期在复杂视觉任务中取得更好的性能。通过结合这两种架构，模型不仅能够提取图像的局部细节特征，而且能够从全局角度理解图像的语义信息，从而更准确地进行分类和识别。提供了CNN、ResNet和ViT在胸部疾病多分类任务中的性能比较，为未来的研究和应用提供了参考。在S型错误的纠正中，结合了RoBERTa模型和n-gram语言模型，提高了纠正的准确性。
ResNet改进之ResNext学习笔记 （附代码）
PLANTTHESON的博客
10-02 1052
ResNet改进之ResNext学习笔记 （附代码）
ResNet进行改进微调（一）
热门推荐
微信号：Custom-Software
04-20 1万+
引言 本片博客是对ResNet 网络模型的微调，论文链接，讲解链接。原始的ResNet结构在细节之处还有微调优化的空间，在论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》中，作者从高效训练、模型微调、训练技巧三个方面给出了一些实践技巧。本文只讲模型微调部分，感兴趣可以继续阅读论文或阅读讲解链接的...
【最强ResNet改进系列】IResNet：涨点不涨计算量，可训练网络超过3000层！
深度学习技术前沿
08-29 3713
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货【导读】本篇文章是【最强ResNet改进系列】的第四篇文章，前面我们已经介绍了Res2...
ResNet升级版（1）：IResNet | Improved Residual Networks for Image and Video Recognition
weixin_42096202的博客
04-28 1976
论文地址：https://arxiv.org/pdf/2004.04989.pdf Github：https://github.com/iduta/iresnet Abstract： 残差网络（ResNets）代表了一种强大的卷积神经网络（CNN）体系结构，已广泛用于各种任务中。在这项工作中，我们提出了ResNets的改进版本。我们提出的改进措施解决了ResNet的所有三个主要组成部分：通过...
ResNet改进：SE模块和多尺度模块两次改进
Henry的博客
03-30 102
SE（Squeeze-and-Excitation）模块是一种轻量级的注意力机制，最初由Momenta和牛津大学的研究者在2017年提出，并在2018年的CVPR会议上发表。它通过显式建模通道间的相互依赖关系，自适应地重新校准通道特征响应，显著提升了多种卷积神经网络的性能。核心思想SE模块的核心思想是让网络能够学习到不同通道特征的重要性，并据此增强有用特征、抑制无用特征。：压缩空间信息，获取全局感受野：学习通道间的相关性，生成每个通道的权重结构组成。
yolov5改进resnet
02-29
YOLOv5是一种目标检测算法，它是对YOLO系列的改进和优化。而ResNet是一种深度残差网络，用于解决深度神经网络训练过程中的梯度消失和梯度爆炸问题。下面是YOLOv5改进ResNet的一些方法： 1. 特征提取网络：YOLOv5使用了一种改进的ResNet作为特征提取网络。这个改进的ResNet结构包括一些新的模块，如CSPDarknet53和CSPDarknetTiny等，用于提取图像特征。 2. 特征融合：YOLOv5在特征提取网络中引入了特征融合模块，用于将不同层级的特征进行融合，以提高目标检测的准确性。这种特征融合可以帮助模型更好地理解不同尺度的目标。 3. Anchor设计：YOLOv5对Anchor的设计进行了改进。Anchor是用于生成候选框的一种方法，通过调整Anchor的尺寸和比例，可以适应不同尺度和形状的目标。 4. 数据增强：YOLOv5在数据增强方面也进行了改进。数据增强是指在训练过程中对输入图像进行一系列变换，以增加数据的多样性和模型的鲁棒性。YOLOv5使用了一些新的数据增强方法，如MixUp和CutMix等。 5. 模型压缩：为了提高模型的速度和效率，YOLOv5还对模型进行了压缩。通过减少模型的参数量和计算量，可以在不降低准确性的情况下提高模型的速度。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值