初学ResNet

最新推荐文章于 2024-01-29 18:35:30 发布
最新推荐文章于 2024-01-29 18:35:30 发布
阅读量145 收藏
点赞数
分类专栏： 实践笔记 联邦学习 文章标签： 深度学习 计算机视觉 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42303403/article/details/129494626
版权
文章详细介绍了卷积神经网络(CNN)的基本原理，包括卷积层、池化层和全连接层的作用，强调了卷积核尺寸、步长和填充的影响。还提到了经典的CNN架构如Alexnet、VGG和ResNet，以及深度学习中遇到的退化问题和ResNet的解决策略。
摘要由CSDN通过智能技术生成

CNN

课程来源：深度学习与计算机视觉

卷积

全连接层的网络输入是一个一维的

而卷积神经网络输入是一个三维的

输入层

在这里插入图片描述

对不同的区域提取出不同的特质，也就是每个小区域可以是一群像素点（像眼睛是聚焦一小块地方去识别特征）

这一个区域就是卷积核，得到的绿色矩阵就像一个特征图！

卷积层

在这里插入图片描述

7x7x3 的最后一个3 是RGB三通道。

多个Filter（卷积核）获取不同特征。

同一个卷积层的卷积核一定是要相同的

经过几次卷积、在这里插入图片描述

先用六个不同的卷积核得到六个特征图，再用十个不同的卷积核得到十个特征图

卷积核的第三个值（第三维度）一定是和前面输入的第三个值（第三维度）是一样的

在这里插入图片描述

在这里插入图片描述

滑动窗口步长：移动大小，对结果的影响就是得到的Output Volume

当步长小，慢慢提取特征，当步长大，大刀阔斧粗略提取特征

CV用CNN一般是单步长，但是NLP有可能用大步长

NLP用CNN，可以用（类似网络滑动窗口）进行用卷积（三个词三个词或者五个字五个字提取特征）

在这里插入图片描述

卷积核尺寸：上述已讲

边缘填充：因为有些点对最终输出结果贡献多，而越边缘的点对最终输出结果贡献少，所以边缘填充，使得原来的边缘不再是边缘，让边缘也对之后的结果产生更大的影响

在这里插入图片描述

卷积核个数：上述已讲

CNN参数相对于全连接层少很多！

池化层

在这里插入图片描述

池化层，做压缩，下采样的！

最大池化比平均池化好得多！

全连接层

最后一层FC：最后一个池化层的三维输出拉直成一个特征向量！[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5ErN1WYy-1678691053328)(file:///C:/Users/fangz/Pictures/Typedown/0921a0e7-8aa3-428d-926c-a228b7cfa07e.png)]

总结

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传在这里插入图片描述

经典CNN架构Alexnet

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(在这里插入图片描述

VGG

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传在这里插入图片描述

所有卷积核都是3*3的，但是VGG训练时间比Alexnet长很多，以天为单位！

感受野

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传在这里插入图片描述

VGG就是全用 3 ∗ 3 3*3 3∗3 的！

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传在这里插入图片描述

ResNet

实验中发现一个事儿：当计算机性能越来越高，理论上层数越深，效果越好。但堆叠层数越深，居然会退化！但是深度学习应该是层数越深越好嘛。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传在这里插入图片描述

我既要把层数堆叠起来，但是不能让那些影响我模型变差的层数去影响我最终结果。

选拔那些对结果有利影响的层数。同等映射！ 中间不好的层数直接跳过。

H ( x ) = F ( x ) + x H(x)=F(x)+x H(x)=F(x)+x 将 x x x 最终也直接拿下来，做一个保底，如果 F ( x ) F(x) F(x) 效果不好，那么Loss函数会将 F ( x ) F(x) F(x) 的影响优化到 0 0 0 直接同等映射！

重新盘活了深度学习！

Zh1N1an
关注
专栏目录
【深度学习】入门理解ResNet和他的小姨子们（五）---ResNet增强版
Shwan_ma的博客
11-21 7891
论文名称：《Identity Mappings in Deep Residual Networks》 code: https://github.com/KaimingHe/resnet-1k-layers这个版本的ResNet应该算是2015 ImageNet上的ResNet的加强版。作者通过探究Identity Mapping来使得网络变得更容易训练，并且能够提高其网络泛化能力模型对比：这里插一
迁移学习resnet_迁移学习——入门简介
weixin_34150870的博客
12-23 1672
一、简介背景：现如今数据爆炸：对机器学习模型来说要求快速构建，强泛化对于数据来说，大部分数据没有标签所以收集标签数据和从头开始构建一个模型都是代价高昂的，需要对模型和带有标签的数据进行重用传统机器学习：假设数据服从相同分布，但我们希望针对不同分布的数据，快速构建模型，实现数据标记迁移学习(transfer learning)通俗来讲，就是运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间...
ResNet网络结构入门
冲冲冲的博客
07-10 376
当网络堆叠到一定深度时，深层网络的效果可能比浅层网络效果差。
resnet初学
hyy19970610的博客
04-02 214
最近在学习resnet ,看到一篇博文很好，转载一下 https://blog.csdn.net/lanran2/article/details/79057994 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdo...
【深度学习】入门理解ResNet和他的小姨子们（一）---ResNet
Shwan_ma的博客
10-06 2万+
2015年由He KaiMing 大神 提出的ResNet现在是一种经典模型。在这之前，虽然VGG的深度已经高达19层了，但是152层的ResNet真的让我们目瞪口呆。首先，我们要问一个问题： Is learning better networks as easy as stacking more layers?很显然不是，原因有二。 一，vanishing/exploding gradient
ResNet50_ResNet_resnet50_pythonresnet50_
10-01
对于初学者来说，理解这些基本概念和步骤是至关重要的。 在压缩包文件“ResNet50”中，可能包含了训练好的ResNet50模型权重、相关的Python脚本、数据集处理代码、训练日志等。这些文件可以帮助我们了解模型的训练...
pytorch-resnet18和resnet50官方预训练模型
08-22
在深度学习领域，PyTorch是一个非常流行的开源框架，它为研究人员和开发人员提供了构建和...无论是初学者还是经验丰富的开发者，PyTorch的ResNet预训练模型都是值得信赖的工具，为各种计算机视觉任务提供了坚实的基础。
fb.resnet.torch-master.zip_ResNet_ResNet深度学习_facebook_torch resn
09-20
ResNet（残差网络）是由微软研究院的研究人员何凯明、尹启融、陈欣刚等人在2015年提出的深度学习模型，它解决了...同时，这也是对深度学习初学者和研究者的一个宝贵资源，能帮助他们快速掌握和实践先进的深度学习模型。
简易CNN和ResNet搭建,resnet是cnn吗,Python
09-10
在深度学习领域，卷积神经网络（Convolutional Neural Network, CNN）是一种...这对于深度学习初学者和进阶者来说都是非常宝贵的经验。在实际应用中，可以根据具体任务调整网络结构，优化超参数，以获得更好的性能。
ResNet50_pretrained预训练模型
09-18
总的来说，ResNet50预训练模型结合PaddlePaddle Fluid框架，为开发者提供了一个强大的工具，以快速高效的方式解决各种计算机视觉问题，尤其是对于初学者来说，这是一个极好的起点，可以快速了解和应用深度学习技术。...
ResNet
xsstef的博客
08-13 3464
###看文章的时候为什么优化残差更容易这个问题困扰了我很久，所以下面主要记录这个问题的理解以及resnet脉络的整理。 Motivation： 1.神经网络的结构并不是越深越好，随着网络的加深伴随着严重的梯度下降和梯度爆炸的问题，目前batch normalization等方法可以解决梯度消失和梯度爆炸的问题。但是使用了各种normalization的方法也不能是深层网络的效果好于浅层网络。 ...
PyTorch 深度学习:32分钟快速入门——ResNet
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-19 466
ResNet 当大家还在惊叹 GoogLeNet 的 inception 结构的时候，微软亚洲研究院的研究员已经在设计更深但结构更加简单的网络 ResNet，并且凭借这个网络子在 2015 年 ImageNet 比赛上大获全胜。 ResNet 有效地解决了深度神经网络难以训练的问题，可以训练高达 1000 层的卷积网络。网络之所以难以训练，是因为存在着梯度消失的问题，离 loss 函数越远的层，在反向传播的时候，梯度越小，就越难以更新，随着层数的增加，这个现象越严重。之前有两种常见的方案来解决这个问题：
[深度学习从入门到女装]ResNet
炼丹师
11-12 430
论文地址：Deep Residual Learning for Image Recognition ResNet中提出了一种残差网络（Redisual Network）能够使网络层次加深之后还能够有效训练   假设F(x)为之前两个卷积操作得到的输出，现在我们使用一个捷径，把x直接加到F(x）上进行训练，也就是时候我们得到的输出为H(x)=F(x)+x，这么做的作用引用知乎的一段 F...
机器学习入门记录3.1-Resnet
shy2218的博客
04-02 678
Resnet 残差网络 参考：https://v.youku.com/v_show/id_XMzM4MDM2NzA2OA==.html?spm=a2hzp.8244740.0.0 最大的特点：深度深 深度网络的好处？ 特征的"等级"随网络深度的加深而变高 极其深的深度使该网络拥有极强大的表达能力 训练深度网络的重要问题（是层数越多网络越好吗？） 1. 梯度弥散 2.退化问题 层数越深的网络反而有更大的误差 对问题的解决方法–Resnet ReLu这个激活函数使得小于零的部分都为0。 ...
深度学习入门教程三：Resnet网络搭建和训练
最新发布
weixin_46524818的博客
01-29 2030
论文Deep Residual Learning for Image Recognition的简读，以及Resnet的模型搭建的训练，以及结果分析
入门ResNet，在Cub200数据集上复现Resnet50
messyking的博客
02-25 4820
1.背景问题 (1).如果只是单纯地把卷积层和池化层进行堆叠，造成的问题就会有梯度消失和梯度爆炸，梯度消失是指当在某一层进行BP的时候，误差为一个小于零的数，那不断相乘，就会趋近于零。梯度爆炸则是指某一层的开始误差都是大于1的数，直接相乘就会导致梯度爆炸。这种情况的处理方法就是对数据进行标准化处理和bn标准化处理特征图。 (2).退化问题就是本来训练到20层已经达到了99%，但是30层训练之后的正确率反而小于99%。resnet通过残差结构(就是那条捷径)解决了退化问题，使之层数增加，准确率是一直增加。所以
ResNet解析
热门推荐
lanran2的博客
01-14 35万+
ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。 下面我们从实用的角度去看看ResNet。 1.ResNet意义 随着...
Resnet学习和理解
g11d111的博客
03-28 3991
一直以来，经常在各种复杂的结构中使用或者听说过Resnet的名字，但是一直也没有学习过这篇文章，现在趁着有时间，学习一下Resnet——何凯明等人于2015年年底发表的《Deep Residual Learning for Image Recognition》。 一、Resnet的背景 深度神经网络（DCNN）结构是很难训练的，这里我们提出一种叫做“residual learnin...
ResNet45代码解析
06-10
好的，下面我来解析一下这段代码。 首先，代码开头定义了一个列表 `__all__`，里面只包含了一个字符串 `"ResNet45"`，这个列表的作用是在调用模块的时候，可以通过 `from module import *` 的方式导入指定的符号，这里只导入了 `ResNet45` 这个类。 接下来是 `conv1x1` 和 `conv3x3` 两个函数，分别实现一个 $1\times1$ 和一个 $3\times3$ 的卷积层，这两个函数的输入参数包括输入通道数、输出通道数、步长、组数和膨胀率等。 然后是 `BasicBlock` 类，它包含了两个卷积层和一个残差连接。其中 `expansion` 是扩展系数，表示残差块中第二个卷积层输出的通道数与第一个卷积层相同还是扩展了几倍。`__init__` 方法中，首先调用父类的 `__init__` 方法进行初始化，然后定义了两个卷积层、两个 BN 层和一个 ReLU 层。在 `forward` 方法中，首先将输入保存到 `identity` 变量中，然后经过第一个卷积层、BN 层和 ReLU 层，再经过第二个卷积层和 BN 层，最后将输入和残差相加，并经过 ReLU 层输出。 接下来是 `ResNet45` 类，它是整个网络的主体部分，由多个 `BasicBlock` 组成。在 `__init__` 方法中，首先调用父类的 `__init__` 方法进行初始化，然后定义了一个卷积层、一个 BN 层、一个 ReLU 层和一个最大池化层。接着调用 `_make_layer` 方法构建了四个残差块，其中第一个残差块的输入通道数为 64，后面每个残差块的输入通道数都是前一个残差块输出通道数的 $2$ 倍。最后加上一个自适应平均池化层和一个全连接层，输出分类结果。 `_make_layer` 方法中，首先判断是否需要进行下采样，如果需要则定义了一个 1x1 的卷积层和一个 BN 层，用于将输入通道数转换为输出通道数。然后按照残差块的个数循环调用 `BasicBlock` 类构建残差块。 在 `forward` 方法中，先经过一个卷积层、BN 层和 ReLU 层，再经过一个最大池化层和四个残差块，最后经过一个自适应平均池化层、展平和一个全连接层输出分类结果。 总体来说，这个 ResNet45 的实现比较简洁清晰，代码结构也比较清晰易懂，适合初学者学习和理解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值