深度学习算法--ResNet、BN、Inception（笔记）

最新推荐文章于 2025-01-11 18:38:02 发布

Shield-Z

最新推荐文章于 2025-01-11 18:38:02 发布

阅读量1k

点赞数 10

文章标签：深度学习算法笔记

本文链接：https://blog.csdn.net/Ting_28/article/details/136440109

版权

本文探讨了ResNet的残差结构如何解决深度网络训练问题，批量归一化（BN）如何加速训练和防止过拟合，以及Inception的多尺度卷积特性。这些技术共同推动了深度学习模型性能的提升和计算效率的优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、ResNet

ResNet，全称残差网络（Residual Network），是一种深度卷积神经网络架构，它通过引入残差学习来解决深层网络训练中的退化问题

1、结构

1、残差块：这是ResNet的基本组成单元，用于构建网络的主要部分。残差块通常包含两个或更多的卷积层，每个卷积层后都跟着Batch Normalization（批量归一化）层和ReLU激活函数。这种设计有助于网络学习更复杂的特征。

2、短路连接：ResNet通过在传统的层之间添加快捷连接，也称为跳跃连接或直连通道，这些连接使得网络可以学习到输入与输出之间的残差映射，而不是直接学习映射。

3、深度变体：ResNet有多个深度变体，如ResNet18、ResNet34、ResNet50、ResNet101和ResNet152。这些数字代表了网络层的数量，例如ResNet50就包含了50层。不同的深度适用于不同的任务和计算资源。

4、Bottleneck结构：为了进一步提高网络的性能和效率，ResNet还引入了Bottleneck结构。这是一种特殊设计的残差块，它通过减少参数数量来降低计算复杂度，同时保

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Shield-Z

关注关注

10
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【深度学习】入门理解ResNet和他的小姨子们（五）---ResNet增强版

Shwan_ma的博客

11-21

8007

论文名称：《Identity Mappings in Deep Residual Networks》 code: https://github.com/KaimingHe/resnet-1k-layers这个版本的ResNet应该算是2015 ImageNet上的ResNet的加强版。作者通过探究Identity Mapping来使得网络变得更容易训练，并且能够提高其网络泛化能力模型对比：这里插一

深度学习之CNN入门&LeNet框架

Superstar02的博客

09-18

564

深度学习之CNN入门&LeNet框架：1.卷积神经网络：①Convolution（卷积）：从输入的一小块数据中学到图像的特征，并可以保留像素间的空间关系。②ReLU：ReLU 的目的是在 ConvNet 中引入非线性③Pooling：平均化，加和，最大化（效果更好）：分开应用到各个特征图④Fully connected layers：使用这些特征把输入图像基于训练数据集...

参与评论您还未登录，请先登录后发表或查看评论

机器学习-强化学习-深度学习

zashizhi3299的博客

11-14

2120

目的：使一个3关节（髋骨、膝盖、脚踝）小人学会沿直线走路。方法：1、对于小人建模；2、使用3层人工神经网络训练小人走路；3、对于每次训练结果评估，奖惩神经网络调整权重。演示了一个使用深度强化学习（deep deterministicpolicy Gradient，DDPG）算法控制仿人机器人运动的例子。采用Simscape多体系统对机器人进行了仿真™在训练过程中，控制策略是使用强化学习工具箱完成的。在本视频中，概述Simulink®模型强化学习的设置、培训和评估。首先，他介绍了如何为强化学.

【图像分类】【深度学习】【Pytorch版本】Inception-ResNet模型算法详解

yangyu0515的博客

11-21

3267

【图像分类】【深度学习】【Pytorch版本】Inception-ResNet模型算法详解

Python 深度学习与强化学习

expert_joe的博客

11-30

1万+

深度学习

Inception-Resnet-v1、Inception-Resnet-v2学习笔记（附Pytorch代码）_inception-resnet-v1 代码

最新发布

2401_89285791的博客

01-11

258

Reduction-B模块：输入8*8*1792，输出8*8*1792.IR-B模块*10：输入17*17*896，输出17*17*896.IR-A模块*5：输入35*35*256，输出35*35*256.IR-A模块*5：输入35*35*384，输出35*35*256.IR-B模块*10：输入17*17*896，输出8*8*1792.IR-C模块*5：输入8*8*1792，输出8*8*1792.IR-C模块*5：输入8*8*1792，输出8*8*1792.

Inception-Resnet-v1、Inception-Resnet-v2学习笔记（附Pytorch代码）_inception-resnet-v1 代码(3)

2401_83620927的博客

04-28

832

definitinit()nn.Conv2d(in_planes, out_channels, kernel_size=3, stride=stride, padding=padding), # 卷积核为3x3nn.BatchNorm2d(out_channels), # BN层，防止过拟合以及梯度爆炸nn.ReLU() # 激活函数definitinit()

Inception-Resnet-v1、Inception-Resnet-v2学习笔记（附Pytorch代码）_inception-resnet-v1 代码(2)

2401_83620927的博客

04-28

732

Reduction-A模块：输入35*35*256，输出17*17*896.Reduction-B模块：输入17*17*896，输出8*8*1792.IR-B模块*10：输入17*17*896，输出17*17*896.IR-A模块*5：输入35*35*256，输出35*35*256.Stem模块：输入299*299*3，输出35*35*256.IR-C模块*5：输入8*8*1792，输出8*8*1792.stem模块：输入299*299*3，输出35*35*384.Reduction-A结构。

Inception-Resnet-v1、Inception-Resnet-v2学习笔记（附Pytorch代码

04-05

1508

最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！

经典CNN模型（五）：ResNet（PyTorch详细注释版）

qq_51872445的博客

07-25

7060

ResNet，即残差神经网络（Residual Neural Network），是由何凯明（Kaiming He）、张祥雨、任少卿和孙剑在 2015 年提出的一种深度学习架构，旨在解决深度神经网络中的退化问题。在传统的深度神经网络中，随着网络层数的增加，训练误差会逐渐增大，这种现象被称为“退化”。ResNet 通过引入一种特殊的残差学习框架来解决这一问题，允许网络学习更深层次的结构，而不遭受退化问题的影响。

Pytorch深度学习（4） — BN层及ResNet + DenseNet实现

01-06

Pytorch深度学习（4） — BN层及ResNet + DenseNet实现1.批量归一化(BN)2.ResNet2.1 残差块2.2 ResNet 模型实现结构：3.DenseNet 稠密连接网络3.1 稠密块（DenseBlock）3.3 过滤层（transition_block）3.4 DenseNet模型总实现 1.批量归一化(BN) nn.BatchNorm2d(6) — 卷积层使用，超参数为输出通道数 nn.BatchNorm1d(120) – 全连接层使用，超参数为输出单元个数 2.ResNet 2.1 残差块输入为X + Y，因而X Y的输出通道要一致可以用1*1

inception模型文件下载

04-17

inception_resnet_v2模型文件下载，由于教育部的官网不能直接下载，外网不可以直接访问，故此把自远方在CSDN上面，供大家学习，特别好用，也是目前能结束ISC比赛的最后一个模型。。里面还有比较好的inception_v3.ckpt和inception_v4.ckpt模型文件 Notes：在使用这样的模型对自己的数据集进行分类时候，别忘了对最后一层的参数冻结后，要重新训练哦

深度学习Top10算法之ResNet

第欧根尼的酒桶的博客

03-21

2217

梯度爆炸也是一个问题，尤其是在网络非常深的时候，梯度可能变得非常大，导致网络权重的大幅波动，也会阻碍有效的学习。此外，ResNet的成功也证明了深度在神经网络中的重要性，进一步推动了深度学习在更多领域的应用，比如自然语言处理、语音识别等。：由于其有效的梯度流动机制，ResNet可以构建比以往任何模型都深的网络，如ResNet-152等，而不会出现性能退化的问题。：尽管ResNet有效减少了梯度消失的问题，但在某些情况下仍然可能面临梯度爆炸的风险，特别是在非常深的网络中。

深度学习卷积神经网络CNN之ResNet模型网络详解说明（超详细理论篇）

热门推荐

qq_55433305的博客

06-11

1万+

ResNet背景、ResNet论文、ResNet模型结构、ResNeResNet 在2015 年由微软研究院提出的一种深度卷积神经网络结构，主要的创新是在网络中引入了残差模块（residual block），其中输入和输出之间添加了一个跳跃连接（skip connection），将输入直接加到输出上。这种跳跃连接的设计使得网络可以更轻松地学习残差，从而解决了梯度消失和模型退化的问题。ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等

CNN架构之ResNet

weixin_45268911的博客

07-18

1511

CNN架构之ResNet ResNet在2015年的ImageNet大规模视觉识别竞赛（ImageNet Large Scale Visual Recognition Challenge, ILSVRC）中获得了图像分类和物体识别的优胜，名声大噪。在此之前，AlexNet——2012年ImageNet的获胜者，这个模型仅有8个卷积层的深度学习，后来的VGG网络有16乃至19层，GoogleNet有22层，而ResNet 有152层。随着模型变得越来越深，Top-5的错误率也越来越低，目前降到了3.5%附近

ResNet网络结构，BN以及迁移学习详解

pyscl01的博客

10-30

5767

ResNet残差结构详解，以及Batch Normalization和迁移学习的详解

ResNet学习笔记

Pteromyini的博客

12-18

666

前言这篇文章实在看完很多博客之后写的，需要读者至少拥有一定的CNN知识，当然我也不知道需要读者有什么水平，所以可能对一些很入门的基本的术语进行部分的解释，也有可能很多复杂的术语因为不好解释而没有解释(主要是懒)。看的时候最好结合论文和百度(谷歌、必应随意开心就好)。ResNet简介ResNet全称Deep residual network，中文名深度残差神经网络。因为ResNet在ImageNet...

深度学习+强化学习=深度强化学习

TSINGHUAJOKING

01-23

1万+

#mermaid-svg-WFqfegK8UQpCBS9l .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-WFqfegK8UQpCBS9l .label text{fill:#333}#mermaid-svg-WFqfegK8UQpCBS9l .node rect,#mermaid-svg-WFqfegK8U.

6.1 ResNet网络结构 BN及迁移学习

qq_52860171的博客

01-09

550

ResNet