总结近期CNN模型的发展(一)

最新推荐文章于 2024-07-22 13:42:36 发布
置顶 最新推荐文章于 2024-07-22 13:42:36 发布
阅读量5.4k 收藏 10
点赞数 3
分类专栏： deep learning 文章标签： deep learning AI CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yj3254/article/details/79167356
版权
本文介绍了深度学习中卷积神经网络（CNN）的发展，从ResNet、Wide ResNet、ResNeXt到DenseNet的结构与优化。通过复现这些模型在CIFAR数据集上的实验，展示了各模型的性能和优势，如ResNet的残差学习、Wide ResNet的宽度影响、ResNeXt的基数概念以及DenseNet的优化梯度流。结果表明，这些结构对CNN模型的性能有显著影响。
摘要由CSDN通过智能技术生成

1.前言

好久没有更新专栏了,最近因为项目的原因接触到了PyTorch,感觉打开了深度学习新世界的大门.闲暇之余就用PyTorch训练了最近在图像分类上state-of-the-art的CNN模型,正好在文章中总结如下:

  1. ResNet [1, 2]
  2. Wide ResNet [3]
  3. ResNeXt [4]
  4. DenseNet [5]
  5. DPNet [9]
  6. NASNet [10]
  7. SENet [11]
  8. Capsules [12]

本文复现了上述论文在CIFAR数据集(包括cifaro10和cifar100)上的结果([9]除外),代码已经放在github上了:

junyuseu/pytorch-cifar-modelsgithub.com

这篇主要介绍前四个结构.


2.分析与复现结果

2.1 ResNet

ResNet是近年来CNN结构发展中最为关键的一个结构,后面非常多的insight都是在resnet基础上进行改进,也有非常多的论文旨在分析残差结构的有效性.ResNet的成功首先得益于其结构的简单有效,其次得益于它的广泛适用.一个简单的残差块如下图所示:


残差结构块

这个单元用可以由以下公式来表述:

y_l = h(x_l) + \mathcal{F}( x_l, \mathcal{W}_l),

x_{l+1} = f(y_l),

在resnet的大多数结构块中, h(x_l)=x_l 亦即恒等映射,只有非常少的几个需要进行维度匹配而使用了1x1的卷积层来增加维度,而f则是ReLU函数.

假设从上一层传来的loss为 

最低0.47元/天 解锁文章
yujunseu
关注
专栏目录
【深度学习】入门理解ResNet和他的小姨子们（四）---WideResNet
Shwan_ma的博客
11-11 1万+
文章全称：《Wide Residual Networks》 文章链接：https://arxiv.org/abs/1605.07146ResNet的成功在深度学习上有着不可磨灭的地位，但是往往为了增加一点精度，就得增加大量的网络层。非常深的网络往往会出现diminishing feature reuse，这往往会导致网络的训练速度会变得相当的慢。为了解决这个问题，本文提出了wide ResNet以
CNN 模型的发展
weixin_45595437的博客
05-07 399
文章目录第一部分：现代 CNN 结构的演变第二部分：CNN 中的一些重点知识2.1 dropout 技术2.2 ReLU 激活函数及其变种2.3 梯度爆炸、梯度消失2.3.1 核心部分2.3.2 补充资料 第一部分：现代 CNN 结构的演变 优秀博客汇总: 1.机器之心：一文带你了解卷积神经网络CNN的发展史 第二部分：CNN 中的一些重点知识 2.1 dropout 技术 讲解： 知乎：深...
卷积神经网络（CNN）
最新发布
Gaga246的博客
07-22 1162
卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。 最典型的卷积网络，由卷积层、池化层、全连接层组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。 卷积层完成的操作，可以认为是受局部感受野概念的启发，而池化层，主要是为了降低数据维度。 综合起来说，CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。
CNN模型演化
zrh_CSDN的博客
08-01 715
CNN 的变体与改进：一览全球最新研究
程序员光剑
12-27 1051
1.背景介绍 深度学习技术的发展与进步，尤其是卷积神经网络(Convolutional Neural Networks，CNN)在图像识别、自然语言处理等领域的广泛应用，已经成为了人工智能领域的热门话题。在这篇文章中，我们将对 CNN 的各种变体和改进进行全面的回顾，并探讨其在全球最新研究中的应用和挑战。 1.1 CNN 的基本概念 CNN 是一种特殊的神经网络，其结构和参数通常从图像数据中...
CNN及主要模型框架的技术演进
xuluohongshang的博客
01-15 2172
卷积神经网络的要点就是局部连接（Local Connection）、权值共享（Weight Sharing）和池化层（Pooling）中的降采样（Down-Sampling）。其中，局部连接和权值共享降低了参数量，使训练复杂度大大下降，并减轻了过拟合。同时权值共享还赋予了卷积网络对平移的容忍性，而池化层降采样则进一步降低了输出参数量，并赋予模型对轻度形变的容忍性，提高了模型的泛化能力。 卷积神经
AlexNet-Cnn模型
02-20
### AlexNet-CNN模型详解 #### 一、引言 在深度学习领域，卷积神经网络（Convolutional Neural Network, CNN）作为一种重要的技术手段，在图像识别与分类任务上取得了突破性的进展。其中，AlexNet作为CNN的一个...
卷积神经网络CNN模型架构介绍
06-22
CNN模型的核心组成部分包括卷积层（Convolutional Layer）、池化层（Pooling Layer）、激活函数（Activation Function）和全连接层（Fully Connected Layer）。下面我们逐一详解这些组件及其作用。 1. **卷积层**：...
卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习模型
05-10
### 卷积神经网络（Convolutional Neural Network，CNN）：一种深度学习模型 #### 一、概述 卷积神经网络（Convolutional Neural Network，简称CNN）是一种专门设计用于处理具有网格结构的数据（例如图像）的深度...
总结 CNN 模型：将焦点转移到基于注意力的架构
gongdiwudu的专栏
11-17 4729
在计算机视觉时代，卷积神经网络（CNN）几十年来一直是主导范式。直到 2021 年 Vision Transformers (ViTs) 出现，这个领域才开始发生变化。现在，是时候采用受 Transformer 架构启发的基于注意力的模型了，使我们能够有效地适应各种数据集变化。
wrn广泛残余网络的源代码
12-16
广泛残余网络的源码，深度学习的标配，可以用此进行转移学习！
基于resnet+unet的皮肤病变分割
02-25
该工程使用resnet50/101+hypercolumn+scse+unet算法实现对皮肤病变的分割
resnet50二分类
11-01
resnet50二分类/recall_precision评价 包括数据读取，处理等函数
ResNet变体(wide residual network，ResNext，DenseNet，MobileNet，ShuffleNet, Dual path Network)
小白的深度学习的博客
05-11 1810
2015 年，152 层深的 ResNet 横空出世，不仅取得当年ImageNet竞赛冠军，相关论文在CVPR 2016斩获最佳论文奖。ResNet成为视觉乃至整个 AI 界的一个经典。自那以后，ResNet 得到许多调整和改进，2017 年，基于 ResNet 的双通道网络 DPN 再夺ImageNet冠军，并将 200 层 ResNet 的计算量降低了 57%。本文从 ResNet 的背景知识...
WideResNet(宽残差网络)介绍与代码
ResumeProject的博客
01-10 5853
《Wide Residual Networks》        深度残差网络被证明能够扩展到数千层并且仍然具有改进的性能。然而，每提高== 1%== 的准确率都会使层数增加近一倍，因此训练非常深的残差网络存在特征重用减少的问题，这使得这些网络的训练速度非常慢。为了解决这些问题，在本文中，我们对 ResNet 块的架构进行了详细的实验研究，在此基础上我们提出了一种新颖的架构，我们减少了深度和增加残差网络的宽度。我们将由此产生的网络结构称为宽
卷积神经网络——Wide ResNet
zhzhx0318的专栏
09-15 7524
网络结构原始的ResNet如果(a)和(b)所示，(b)是使用了bottleneck的residual block，而(c)和(d)便是WRN这篇paper的作者提出的架构。他认为一味的增加深度并不是最有效的方法，residual block的宽度对网络性能的提升更有帮助。所以他考虑增加每一层的宽度。当网络层 depth 数较浅，或者宽度 k 较小时，网络还不需要加dropout，但是当层数增加，宽
残差网&宽度残差网
2301_77549977的博客
03-05 1070
宽残差块是指在残差块内增加更多的卷积核，从而增加特征通道的数量。传统的残差块由两个卷积层组成，每个卷积层通常只有少量的卷积核。而在WideResNet中，每个残差块都包含两个卷积层，其中第二个卷积层的卷积核数目非常大，相当于将特征通道的数目提高了数倍。它对每层的输入做一个reference(X), 学习形成残差函数， 而不是学习一些没有reference(X)的函数。让特征矩阵隔层相加，注意F(X)和X形状要相同，所谓相加是特征矩阵相同位置上的数字进行相加。宽度残差网的核心❤️：增加输出通道的宽度。
WRN(Wide ResNet)
fnoi2014xtx的博客
06-15 1985
Paper : Wide Residual Networks Code : official 摘要 深度残差网络能够将网络深度扩大到上千层，并且有很好的性能提升。但是，分类准确率每提高百分之一的代价几乎是层数的两倍。深度越深的网络，出现梯度消失的可能性越高，训练起来越慢。因此，为了解决这些问题，作者提出使用深度适中，通道数更高的网络模型来替代深而细的网络模型。 网络结构 ResNet的引入大大加深了可训练的神经网络的深度，而为了减少参数规模而使用bottleneck更是使得网络变得细长。ResNet和著.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值