ResNet最新变体！性能反超Transformer，模型准确率达98.42%

最新推荐文章于 2024-10-11 18:54:57 发布

深度之眼

最新推荐文章于 2024-10-11 18:54:57 发布

阅读量3.8k

点赞数 17

分类专栏：人工智能干货深度学习干货文章标签： ResNet 残差网络人工智能计算机视觉机器学习

本文链接：https://blog.csdn.net/weixin_42645636/article/details/137882359

版权

深度学习干货同时被 2 个专栏收录

538 篇文章 208 订阅

订阅专栏

人工智能干货

511 篇文章 28 订阅

订阅专栏

文章探讨了ResNet在深度学习中的重要地位，介绍了几种关键的改进变体如FC-ResNet、TB-ResNet和D-ResNet，它们通过结合其他技术、优化模型结构和利用频域信息等方式，提升了模型的性能、准确性和效率。作者还提供了多个相关论文和开源代码资源。

摘要由CSDN通过智能技术生成

目前ResNet（残差网络）有两大主流创新思路：一是与其他技术或模型结合，比如前文讲到的ResNet+Transformer；二是在原始设计的基础上进行改进。

尽管ResNet通过残差学习有效改善了深层网络的训练和性能，但同时它也面临着计算资源消耗大、过拟合风险、网络冗余和梯度相关性等挑战。

为克服这些挑战，研究者们基于原始的ResNet架构设计了多种变体，比如性能反超Transformer的ConvNeXt、准确率高达98.42%的FC-ResNet等。这些改进方案解决了深层网络训练中的梯度消失问题，并简化了学习过程，在提高模型精度和训练效率方面表现出色。

因此，针对ResNet变体的研究一直是深度学习领域的热门方向。为帮助同学们深入了解，这次我整理了19个ResNet改进方案，有2024最新的，也有经典必看的，模型原文以及开源代码已附，方便同学们复现。

论文原文以及开源代码需要的同学看文末

FC-ResNet

FC-ResNet: A Multilingual Handwritten Signature Verification Model Using an Improved ResNet with CBAM

方法：本文提出了一种适用于跨不同地区和民族的多语言签名的离线签名验证方法（FC-ResNet）。该方法使用FC-ResNet模型结构，通过将ResNet-18结构进行压缩和优化，引入CBAM（Convolutional Block Attention Module）来提高模型对多尺度特征信息的利用，从而提高模型对签名图像的准确性。该方法在公共数据集CEDAR、BHSig-B和BHSig-H上的准确率分别为96.21%、98.42%和97.28%。

创新点：

研究创建了一个包含多种语言的离线手写签名数据集，涵盖了中文、维吾尔语、哈萨克语和柯尔克孜语，共计38,400个签名样本。
提出了改进的残差网络模型（FC-ResNet），通过引入CBAM模块来适应签名的多样性和变异性，同时压缩模型以实现轻量级部署。
通过网络压缩技术成功减少模型的存储和计算成本，同时保持高准确性，为资源受限设备上的实际应用提供了解决方案。

TB-RESNET

TB-RESNET: BRIDGING THE GAP FROM TDNN TO RESNET IN AUTOMATIC SPEAKER VERIFICATION WITH TEMPORAL-BOTTLENECK ENHANCEMENT

方法：论文介绍了一种新颖的基于ResNet的系统，称为Temporal-Bottleneck ResNet（TB-ResNet），旨在从时间延迟神经网络（TDNN）过渡到ResNet模型。通过在其构建块中使用时间瓶颈配置，可以更好地利用统计汇聚的特性，捕捉和保留帧级上下文。

创新点：

提出了Temporal-Bottleneck ResNet，这是一个新颖的说话人验证系统，通过在其构建块中引入独特的时间瓶颈配置来实现。通过使用转置卷积有效地捕捉和保留帧级上下文。该设计通过ASP层增强了时间信息的有意义聚合，最终产生更具信息量的统计数据。
引入了Temporal-Bottleneck ResNet（TB-ResNet），这是一个基于ResNet的新型系统，可以利用统计汇集来提供更好的性能。该模型通过在其构建块中采用时间瓶颈配置来捕捉和保留帧级上下文，并且这些块可以自然地插入到现有的ResNet架构中。最终，该模型通过统计汇集层丰富了时间信息，从而产生更有意义的统计数据。

D-Resnet

D-Resnet: Deep Resnet based approach for ECG classification

方法：论文提出了一种基于深度残差网络（D-ResNet）的心电图（ECG）信号分类模型，旨在准确区分正常和异常信号。该模型通过使用卷积神经网络（CNN）和残差网络（ResNet）结合的方法，在ECG信号的特征提取和深度学习方面取得了较高的精度。

创新点：

通过改进的ResNet-18模型，提出了一种识别心律失常的方法，该方法在训练神经网络时加入了批量归一化，以加快训练速度、增加收敛速度和保持算法稳定性。
提出了一种基于深度残差网络（D-ResNet）的ECG信号分类模型，可以准确区分正常和异常信号，并在MIT-BIH数据集上达到了较高的准确率、精确度和灵敏度。
在ECG信号分类中，采用了CNN和ResNet结合的架构，利用CNN的精度和ResNet的深度来提取信号特征，通过预处理步骤对信号进行了降噪处理，最终实现了较高的分类准确性。

FFC-ResNet

Adenoma Dysplasia Grading of Colorectal Polyps Using Fast Fourier Convolutional ResNet (FFC-ResNet)

方法：论文开发了一种改进的卷积神经网络模型，称为快速傅里叶卷积残差网络（FFC-ResNet），以提高预测效果。该模型基于ResNet50架构，并利用频域卷积的优势，提供全局特征。此外，FFC通过融合空间卷积学到的局部特征，增强了学习能力。该模型在一个公开可用的标记组织病理学数据集UniToPatho上进行了评估，实现了95%的敏感性、93%的特异性、94%的平衡准确性、95%的精确度、95%的F1分数和99%的AUC。