ResNet文献阅读报告

最新推荐文章于 2023-12-31 18:42:37 发布
最新推荐文章于 2023-12-31 18:42:37 发布
阅读量1.4k 收藏 7
点赞数 1
文章标签： 计算机视觉 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42214778/article/details/112383612
版权
ResNet论文介绍了为解决深度网络退化问题而提出的残差结构，通过恒等映射简化网络学习。实验表明，ResNet在ImageNet和CIFAR-10数据集上，随着层数增加性能不降反增，超越SOTA模型，且被应用于目标检测领域，显著提升结果。残差网络成为计算机视觉领域的重要里程碑。
摘要由CSDN通过智能技术生成

ResNet文献阅读报告

一、背景简介

我选择的文献是Deep Residual Learning for Image Recognition，这篇论文的第一作者为何恺明，并夺得了2016年CVPR的best paper奖项。

深度学习中的网络从AlexNet，到VGG，再到GoogleNet，经历了网络层数的逐步加深。更深层的网络有着更强大的表征能力，可以提取出更加复杂的特征，从原则上来说应该会带来更好的结果。但是仅仅通过堆积层数来加深网络，会带来梯度消失和梯度爆炸的问题，进而使网络更难收敛；同时，网络性能会逐渐趋于饱和，甚至开始下降，这也被称为深度网络的退化问题。

在这种背景下，作者提出了ResNet深度残差网络，成功解决了退化问题，使得网络性能随着网络层数的增加而增加。

二、残差结构

ResNet中引入了残差网络结构，即在输入和输出层之间添加了一个直接通路，即恒等映射。对于一般的网络，网络需要学习的是从输入到输出的映射H(x)，而对于残差网络，网络需要学习的是H(x)-x。残差结构见下图所示。
在这里插入图片描述

残差结构的提出源于作者作出的假设：对于一个更深层的网络，如果多出来的层仅仅做了恒等映射的话，那么更深层的网络性能一定不会比浅层网络的性能要差。残差结构既没有增加原模型的计算复杂度，

最低0.47元/天 解锁文章
euphoriakis
关注
基于resnet-18的轻量型车道检测研究
han422858897的博客
11-05 2748
基于resnet-18的轻量型车道检测研究1.论文介绍以及实验2.参考内容 论文2：Ultra Fast Structure-aware Deep Lane Detection 官方代码地址：https://github.com/cfzd/Ultra-Fast-Lane-Detection 该论文的轻量型模型以Resnet-18为底。 1.论文介绍以及实验 论文方法：将车道线检测定义为寻找车道线在图像中某些行的位置的集合，即基于行方向上的位置选择、分类（row-based classification），而
经典论文之ResNet
阿基美德的博客
08-26 4031
ResNet 原论文：Deep Residual Learning for Image Recognition ILSVRC2015冠军（分类、定位、检测）。通过残差块训练了152层网络。 解决了退化问题（plain网络随着网络加深，错误率升高） 网络加深：会出现梯度消失或梯度爆炸，这个问题可以通过正则初始化和BN来解决。 退化问题：深层网络到了一定深度，准确率趋近饱和，而且继续加深会降低准确率（degradation问题）。 这个问题并不是过拟合导致的（过拟合在训练集应该更好），也不是梯度消失造成的（论
ResNet —— Deep Residual Learning for Image Recognition
乐亦亦乐的博客
09-16 655
ResNet 原文：https://arxiv.org/pdf/1512.03385.pdf 摘要 更深的神经网络更难训练。 我们提出了一个残差学习框架，以减轻网络训练的负担，这些网络比以前使用的网络要深得多。我们明确地将这些层重新定义为根据参考层的输入来学习残差函数，而不是学习无参考的函数。我们提供了全面的经验证据，表明这些残差网络更容易优化，并且可以从深度增加中获得准确性的提高。 在ImageNet数据集...
文献阅读ResNet
最新发布
qq_45847191的博客
12-31 1026
本周学习ResNet论文。随着网络深度的增加，梯度消失和网络退化问题限制了神经网络的进一步发展。ResNet的研究旨在解决这些问题，通过引入残差学习和跳跃连接的概念，构建了一种新的神经网络架构。ResNet的关键创新在于通过残差块让层学习输入和输出之间的残差，使网络更易训练。跳跃连接直接将输入传递到深层网络，有助于梯度传播和信息保留。这一设计允许网络深度显著增加，提高了性能，同时解决了深层网络的训练问题。
文献精读——（第六篇）ResNet
weixin_37799689的博客
03-31 1263
一、论文梳理 1、论文背景 现象：较深的神经网络训练效果并不好。 论文的核心观点（论文意义）：深层次表征信息是很多视觉任务的核心，这是不断加深网络的原因。 为什么深层网络效果好：映射函数具有更多的非线性映射，越复杂的映射函数则映射的更好。 网格退化：由于梯度消失，导致训练集、测试集效果差。 过拟合：由于参数（所需量）大于样本数，导致训练集效果极好而测试集效果差。 2、论文成果 1）...
【文献阅读】Deep Residual Learning for Image Recognition--CVPR--2016
weixin_33962621的博客
08-16 462
最近准备用Resnet来解决问题,于是重读Resnet的paper 《Deep Residual Learning for Image Recognition》, 这是何恺明在2016-CVPR上发表的一篇paper,在2015年12月已经发布在arXiv上,并且用文中所述的网络在 2015年 的ILSVRC获得分类任务冠军,在2015-COCO detection,segme...
PyTorch实现ResNet50、ResNet101和ResNet152示例
09-18
在本篇示例文章中，我们将深入了解如何使用PyTorch框架来实现著名的深度残差网络（Residual Networks，简称ResNet）系列中的三种不同结构：ResNet50、ResNet101和ResNet152。 标题中提到的“ResNet50、ResNet101和...
Paper 文献阅读一： Resnet
qq_39484341的博客
03-28 521
文章目录Paper 文献阅读一： Resnet网络退化 degradation 问题退化问题体现的问题为什么残差更好估计？极端情况 H(x) = x其它情况残差网络的 building blockshortcutsF(x)与x形状不同时怎么办？可以用于巻积层吗？实验优化策略Deeper Bottlenectk Architectures Paper 文献阅读一： Resnet 网络退化 degra...
resnet论文阅读
JiangZuning的博客
03-05 3296
论文阅读：Deep Residual Learning for Image Recognition 引言： ​ 残差网络是如今运用极为广泛的一种网络，它学习残差函数，而非学习原始函数。实验表明残差函数更容易优化，并且可以通过增加深度来提高准确度。它在ILSVRC2015分类任务中获得了第一名，在COCO目标检测数据集上获得了28%的相对改进，赢得了ImageNet检测、ImageN...
文献阅读（36）-使用卷积神经网络通过图像分类检测糖网
10-21
【文献阅读（36）-使用卷积神经网络通过图像分类检测糖网】 这篇文献讨论了如何运用深度学习，特别是卷积神经网络（CNNs），来自动检测糖尿病视网膜病变（Diabetic Retinopathy, DR）。DR是糖尿病的常见并发症，也...
ResNet论文精读总结
记录学习的小白
07-22 649
1）为什么ResNet会使模型训练很快？因为在误差反传过程中的梯度问题上，他解决了传统做法的梯度消失问题。比如传统做法这里的g（x）代表原来的小网络，f（g（x））表示g（x）网络又经过了f（）这层网络，因此αf（g（x））/αx就代表计算梯度问题。因为随着网络的加深，公式右侧累乘的公式数量会一直增多，但由于求导都是在0-1之间的数，所以会出现越乘越小的趋势，因此到后来会出现梯度消失的情况，也就会导致训练很慢训练不动的情况。ResNet由于ResNet是相加的关系。因此右侧公式中总会偏左侧方框内。...
ResNet 论文阅读笔记
Sail的博客
11-15 2878
ResNet 论文阅读笔记 #机器学习/深度学习 文章介绍 论文地址：https://arxiv.org/pdf/1512.03385.pdf 原文题目：Deep Residual Learning for Image Recognition 作者： Kaiming He 团队 （微软亚洲研究院） 该文是2016年CVPR 最佳论文，拿下来当年 ImageNet 等数据集以及各项比赛第一名。提出的 ResNet 是基于残差学习，让神经网络训练起来更加容易。直观上来说，神经网络可以越做越深、准确度也可以越来
读ResNet网络文献后的一些要点梳理
S_zgz95的博客
10-08 645
读ResNet网络文献后的梳理 1.ResNet网络的诞生是为了要解决深度学习网络的degradation problem。 2.degradation problem与过拟合之间的区别在于过拟合是train error很小，test error很大；而degradation problem则是train error和test error都会增大。 3.ResNet最初的想法是源于一个推理，即假设深层网络由一个浅层网络和多个恒等映射组合而成。若这些恒等映射都是理想的，那么这个深层网络的训练性能（无过拟合
ResNet论文阅读笔记
qq_44024204的博客
01-27 246
ResNet 论文阅读笔记 1 问题的提出 在我们的一般印象中，深度学习的网络越是深（复杂，参数多）意味着越是有着更强的表达能力。但是paper中提出： Is learning better networks as easy as stacking more layers? CNN网路（AlexNet,VGG,GoogleNet）随着网络深度的增加，会出现梯度消失/梯度爆炸的问题（原因），这个问题一定程度上可以被 normalized initialization 和 intermediate nor
resnet 论文_ResNet 残差网络论文阅读及示例代码
weixin_42353805的博客
01-14 434
论文阅读其实论文的思想在今天看来是不难的，不过在当时 ResNet 提出的时候可是横扫了各大分类任务，这个网络解决了随着网络的加深，分类的准确率不升反降的问题。通过一个名叫“残差”的网络结构(如下图所示)，使作者可以只通过简单的网络深度堆叠便可达到提升准确率的目的。残差结构残差结构的处理过程分成两个部分，左边的 F(X) 与右边的 X，最后结果为两者相加。其中右边那根线不会对 X 做任何处理，所以...
阅读ResNet论文 心得体会
ck8719的博客
03-21 4495
记录一下看resnet论文的心得体会 作者在摘要中提出一个现象：深度的神经网络是很难训练的。因此提出了一种残差学习的框架，使得训练深的神经网络变得相对简单的多。残差神经网络就是为了解决这个问题的。 那么resnet网络相比于 cnn来说有什么优点呢？ cnn随着层数的增多导致训练误差和测试误差都会增加，精度会降低。 但是resnet不会，他这残差神经网络有其特殊的优势。层数越来越多后，例如1000层，一万层，也许提高不了太多精度，但是至少不会降低精度。 以ImageNet举例。作者使用了152层的深度，比V
ResNet论文翻译及解读
David Lee的博客
03-04 8786
ResNet论文翻译及解读
resnet18参考文献
09-23
以下是关于ResNet18的参考文献： 1. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值