WRN[论文笔记]

最新推荐文章于 2021-09-04 21:21:15 发布
最新推荐文章于 2021-09-04 21:21:15 发布
阅读量521 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： 深度学习 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sherilindas/article/details/105753769
版权
WRN是一种深度学习模型，旨在解决深度残差网络中的梯度消失问题。通过减少网络深度，增加残差块的宽度，WRN表现出更好的性能和更快的训练速度。论文中，作者比较了不同结构的残差块，并在CIFAR-10、CIFAR-100、SVHN和ImageNet等数据集上进行了实验，证明了宽度增加对模型性能的提升。此外，将dropout添加到卷积层而非Identity连接也有助于提高模型性能。
摘要由CSDN通过智能技术生成

论文: Wide Residual Networks

论文地址

简介

随着模型深度的加深,梯度反向传播时,并不能保证能够流经每一个残差模块的权值,以至于它很难学到东西.训练十分深的残差网络仍会有特征重用消失的问题,训练速度会减慢.

wide residual networks (WRNs)减少深度,但是增加了残差块的宽度.作者希望使用一种较浅的,但是宽度更宽的模型,来更加有效的提升模型的性能.

说明残差网络的能力主要由残差block提供,网络深度只有补充性的作用

WRN

在这里插入图片描述

如上图所示,a,b是Resnet提出的残差块.分别为Basic和Bottleneck block

而c,d是本文提出的更宽的残差块.c是加宽的Basic block.

另外前人把dropout插入到残差网络的Identity连接上面,会导致性能下降.而作者认为应该像d一样,把dropout插入的卷积层之间.

ResNet原文使用了三种Residual Block,output channel分别为16,32,64.网络的深度为6*N+2.

而本文作者通过增加output channel的数量来使模型变得更wider,他在output channel都增加了系数k

引入两个因子:

  • 深度因子l,表示一个block中包含的卷积层数量
  • 宽度因子k,卷积层输出特征图数量的倍数

下表显示了本文网络的具体配置,k控制残差block的宽度

最低0.47元/天 解锁文章
sherilindas
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WRN 论文笔记
黑暗星球
06-13 9317
WRN：Wide Residual Networks 摘要 深度残差网络能够将网络深度扩大到上千层，并且有很好的性能提升。但是，分类准确率每提高百分之一的代价几乎是层数的两倍。所以训练非常深的残差网络有一个问题：特征利用率逐渐下降，这使得残差网络的训练非常慢。为了解决这些问题，本文中，我们对残差块进行了详细的实验研究。基于该研究，我们提出了一个新架构，这个架构减少了深度并且增加了残差网络的...
计算机视觉领域协会、出版社及相关高水平期刊、会议
j_study的专栏
07-31 4865
1、协会和出版社       IEEE（电气和电子工程师协会，全称是Institute of Electrical and Electronics Engineers)、       Elsevier（爱思唯尔）、Springer（斯普林格）。 2、期刊、会议       IEEE：          期刊： TPAMI（Transactions on Pattern Analysis
深度学习论文精读（6）：WRN
hwl19951007的博客
12-18 853
深度学习论文精读（6）：WRN 论文地址：Wide Residual Networks 参考博文1：https://blog.csdn.net/app_12062011/article/details/64125729 参考博文2：https://zhuanlan.zhihu.com/p/47235521 作者源码地址：https://github.com/szagoruyko/wide-resi...
WRN详述
周先森爱吃素的博客
04-18 2718
本文介绍Wide Residual Networks，介绍其被广泛使用的原因。
论文笔记 | Wide Residual Networks
bea_tree的博客
07-10 1万+
AuthorsSergey Zagoruyko Nikos Komodakis Sergey ZagoruykoAbstract网络不断向更深发展，但是有时候为了得到少量的accuracy的增加，却需要将网络层数翻倍，也会减少feature的reuse，降低训练速度。作者提出了wide residual network，16层的表现就比之前的ResNet效果要好。1 Introductio
WRN详解
For_learning的博客
03-24 4528
WRN 《Wide Residual Network》 1 提出问题 ​ 随着卷积神经网络模型的发展，网络的深度问题也一直被关注。到底是选择浅层网络好还是深层网络好？这个问题也一直没有被解答。 ​ ResNet中提出的bottleneck块（如下图）进一步增加了网络的深度。bottleneck块中加入了1*1的conv，主要用于embedding和减少参数。但bottleneck进一步使得网络变得更深更窄（deeper，thiner）。ResNet最大深度已经达到了1001层。 ​ ResNet深度的
DenseNet 论文笔记
黑暗星球
06-24 2547
摘要 DenseNet 沿着 shortcut 连接的思想，将每一层与除该层外的所有层连接起来。 前人的一般都是 LLL 层有 LLL 个 shortcut 连接。DenseNet 中 LLL 层有 L(L+1)2L(L+1)2\frac{L(L+1)}{2} 个 identity 连接。 每一层都将前面所有层的特征图谱作为输入（使用 concatenate 来聚合信息）。 DenseNe...
WRN-CIFAR100-16-4-Best.h5
12-16
WRN-CIFAR100-16-4-Best.h5 广泛残余网络的cifar100的权重，可以用此权重预训练！
pytorch_wrn:WRN的PyTorch实现
05-15
WRN的PyTorch实施 用法 $ python main.py --depth 28 --widening_factor 10 --outdir results CIFAR-10的结果 模型 测试错误（3次运行的中位数） 测试错误（纸上） 训练时间 WRN-28-10 4.03 4.00（5次中位数） 16h10m 注意此模型使用批处理大小64（纸上为128）进行训练。 参考 Sergey Zagoruyko和Nikos Komodakis。 广泛的残留网络。 在Richard C. Wilson，Edwin R. Hancock和William AP Smith的著作中，英国机器视觉会议（BMVC）会议录，第87.1-87.12页。 BMVA出版社，2016年9月 ，
宽残差网络——WRN
Sky
12-07 7588
宽残差网络——Wide Residual Network 文章出自Sergey Zagoruyko的Wide Residual Network 残差网络——Residual Network近年来，残差网络（Residual Network）在各个测试集上都取得了不错的效果，其网络结构如下图所示， 其网络网络由残差模块组成 其中的跳跃式连接可以将残差很好的传递过去，从而避免梯度消失的现象。
LINUX软中断处理如何与BH函数关联的
rockhui的专栏
05-24 873
在读LINUX情景分析时，总是忘记bh_base[]数组如何与bh_task_vec[]及softirq_vec[]联系的，因为如果不 能理清这里的关系就不能真正了解LINUX软中断的精髓，更无法理清何时处理后半部bh函数，为此，写出这篇文章。我是无名小卒，写这些文章是为了与大家 更好的交流，所以如果转载请说明出处 我们的重点是理解出这几个数组的关系，也就是说他们是怎么关联起来的，至于函数指针或者屏蔽位等内容可以参考LINUX内核情景分析书中的文字，他写的比较清晰，唯一就是明确指出这三个数组的关联。让我
OpenCV HOG+SVM行人检测
weixin_40277254的博客
01-14 1284
方向梯度直方图(Histogram of Oriented Gradient, HOG)是一种常见的特征提取算法，基本思想是统计图像局部区域的梯度方向信息作为该局部图像区域的表征。HOG特征提取+SVM训练，在行人检测中获得了极大成功。该方法是法国研究人员Dalal在2005的CVPR上提出的，如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。 HOG特征提取的流程如下：...
深度学习分类网络
热门推荐
PeaceInMind的博客
09-24 1万+
主要介绍一些分类网络，并计算了FLOPS，参数个数和感受野信息，方便大家查询。 很多本人没有用过，另外也没有认真校对，有可能有错误。感受野的公式应该有错误，大家可以忽略 1 VGG-16 VGG[1]是非常经典的模型，是2014 ImageNet的亚军,其中当属VGG16应用最广泛。核心思想：小核，堆叠。主要分成5个stages,22333，13个卷积层，16的意思应该是加上3个...
ImageNet打造自己的图像识别
莫凡的博客
10-24 5760
一、原理      
【ceph问题分析】osd timeout and later suicide
为梦想而追逐，厚积而薄发
07-26 2860
On a Ceph Hammer (0.94.5) cluster I've seen OSDs fail multiple times when one or more clients are responding flaky (full netfilter conntrack table). The cluster is a 250 OSD cluster with roughly 30 ...
WRN28-4对CIFAR-10数据集的分类95.3%以上
Xingwen_future的博客
04-30 929
时间20210430 作者：知道许多的橘子 实现：WRN28-4对CIFAR-10数据集的分类 测试集准确度：% 实现框架pytorch 数据增强方法：Normalize+Fix等 训练次数：200 阶段学习率[0-200]：smooth_step(10,40,100,150,epoch_s) 优化器optimizer = torch.optim.SGD(model.parameters(),lr=smooth_step(10,40,100,150,epoch_s), momentum=0.9,weight
图像分类 resnet，WRN, SE-resnet, Densenet, pyramid, shake_shake
Xingwen_future的博客
09-04 568
分类基线网络，resnet，WRN, SE-resnet, Densenet, pyramid, shake_shake,有使用说明，pytorch，亲测有效，cifar10精度97.34%，cifar100精度86.57%，mini-imagenet精度84.51% hi，这是我用百度网盘分享的内容~复制这段内容打开「百度网盘」APP即可获取 链接:https://pan.baidu.com/s/1GGV4oE3kzlTqdcQ_Pgzmuw 提取码:5xng 使用说明 怎样使用image-classif
resnet wrn
最新发布
09-26
ResNet和Wide Residual Networks（WRN）都是用于深度神经网络的架构。ResNet通过引入残差连接来解决梯度消失和梯度爆炸的问题，使得网络可以更深。而WRN则通过增加网络的宽度（即增加特征面）来提高网络性能，而不是增加网络的深度。相比于ResNet，WRN在减少网络深度的同时，提高了网络的性能和计算速度。 ResNet和WRN的区别主要有以下几点： 1. 使用bottleneck：ResNet使用bottleneck结构来减少参数规模，但会使网络变得更细更深。而WRN不使用bottleneck，而是通过增加特征面来加宽卷积层。 2. identity shortcut connection的缺陷：ResNet的identity shortcut connection是为了解决梯度流的问题，但可能导致少量的块学习有用的特征信息，或者很多块共享非常少的信息。WRN通过随机停用残差神经网络中的一些块的权重层，以强迫其他的权重层学到有效的特征信息。 3. 性能和计算速度：相比于ResNet，WRN在性能上提高了很多，但深度只有ResNet V2的1/50，计算速度更快。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值