Densenets论文学习总结

最新推荐文章于 2023-11-16 22:48:01 发布
最新推荐文章于 2023-11-16 22:48:01 发布
阅读量258 收藏
点赞数
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36664641/article/details/83035799
版权

一些论文阅读总结，方便之后遗忘时迅速回顾

1 DenseNet

1.1 四大优点

  1. 缓解梯度消失

  2. 增强特征的传播

  3. 加强特征的reuse

  4. 减少了大量参数

 

1.2 Introduction

每一层都与loss funchtion直接相连

训练集较小时，有正则化效果

 

1.3 Related Work

主要受 Highway Networks和Resnets启发。

相比Resnets，Densenets采用了concatenate，提高了效率。

相比Inception，Densenets更加简单和高效。

 

1.4 主要结构

  1. 不同于Resnets的bypass，summation的形式可能会阻碍信息流的传播，故Dense connectivity采用了concatenating。

  2. 采用了Composite function，即每一层l的操作函数H(l)包括了BN、Rulu，Conv三个操作

  3. 因为卷积过程中必须有下采样层（降低size），所以在denseblock之间加入了transition layers，在文章的实验中一个transition layer由一个1x1conv和一个2x2avg pool组成。

  4. 如果每一个H(l)都产生k个特征图，那么每一层的输入将是​ ,其中​ 代表此层的原始input。Densenet和其他网络结构不同的一个重点是，Densenet拥有非常狭窄紧致的层，Growth rate k相当于一个决定此层的global state的值。k值越大，即这一层contribute给global state的信息就越多。

  5. 因为concatenating的原因会造成通道仍然过高，使得出现Bottleneck的问题，所以在每个3x3卷积前加一个1x1卷积降低通道数

  6. 每个denseblock内作same conv，即卷积前作一个像素的zeropadding，使得3x3卷积后图片尺寸不变。

  7. Compression ，即假设每个denseblock输出的feature map的数量是m，则每个transition layer输出的feature map的数量为am，其中0<a<1

yang11037
关注
DenseNets再探索：超越ResNets和ViTs的范式转变
AI浩
07-02 504
摘要： 本文重新探讨了密集连接的卷积网络（DenseNets），并揭示了其在当前主流的ResNet风格架构之上的被低估的有效性。我们认为，DenseNets的潜力被忽视的原因在于未得到充分研究的训练方法以及传统设计元素未能完全展现其能力。我们的初步研究表明，通过拼接实现的密集连接非常强大，证明了DenseNets可以通过复兴来与现代架构竞争。我们系统地改进了次优组件——包括架构调整、块重新设计以及改进的训练策略，旨在拓宽DenseNets并提升内存效率，同时保持拼接的快捷连接。我们的模型采用简单的架构元素，
【图像去噪】论文精读：xUnit: Learning a Spatial Activation Function for Efficient Image Restoration
最新发布
畅游计算机视觉的海洋
08-27 821
论文题目：xUnit: Learning a Spatial Activation Function for Efficient Image Restoration —— xUnit:学习空间激活函数进行高效图像恢复CVPR 2018！代替ReLU！新激活函数xUnit提升模型性能！可添加到去噪模型中！近年来，深度神经网络 (DNN) 在许多低级视觉任务中取得了前所未有的性能。然而，最先进的结果通常是通过非常深的网络实现的，它可以达到数十层，具有数千万个参数。
DenseNets论文笔记及读后感
weixin_40012507的博客
12-20 539
12.19 densenets完结首先是densenet的结构图。传统的神经网络层与层之间一般只有L个输出，而从图中可以看到而我们的这个新的网络有L(L+1)/2个输出。每层的输入都是拿前面所有层的features map作为输入，同样它的features map也作为所有下面层的输入。 陆陆续续花了几天时间读完了densenets论文，感受确是颇多，单单只是在分类这一模块中，模型已经进步了许多。
DenseNet简单总结
ZDA_fight的博客
06-09 551
2017_DenseNet_Facebook: 图： trasition layer补充图 网络描述： DenseNet让网络的每一层的输入变成所有前面层的叠加（concat），然后把它的特征图传递给所有接下来的网络层。transition layer,放在两个Dense Block中间,是因为每个Dense Block结束后的输出channel个数很多,需要用1*1的conv来降维。 Densenet和其他网络对比 与Inception系列和ResNet网络不通，Inception网络主要是从网络的
DenseNet论文总结
zz937211040的博客
10-15 436
论文: Densely Connected Convolutional Networks 一、 内容简述 　　作者通过研究Stochastic depth训练方法和ResNet后受到启发，设计了一种名为DenseNet的模型，能够有效地抑制梯度消失，强化特征传播同时大幅地减少参数数量。在实验中DenseNet在CIFAR、SVHN和ImageNet数据集中取得了了当...
DenseNet阅读总结PPT
01-02
本人阅读CVPR2017最佳论文《Densely Connected Convolutional Networks 》后的总结PPT
Densely Connected Convolutional Networks翻译
tumi678的博客
11-29 6810
Abstract：最近的成果显示，如果神经网络各层到输入和输出层采用更短的连接，那么网络可以设计的更深、更准确且训练起来更有效率。本文根据这个现象，提出了Dense Convolutional Network (DenseNet)，它以前馈的方式将每个层都连接到其他每一层。然而传统L层卷积网络有L连接，而DenseNet的任一层不仅与相邻层有连接，而且与它的随后的所有层都有直接连接，所以该网络有L(
GCN 论文英语表达总结
哆啦咪~fo
04-05 1010
！猫在家里看论文，写论文的日子真爽 ！我常常自嘲自己的英文写的很像老太太的裹脚布，又臭又长 ！主要是将一些GCN的英文表达方式记录下来，收藏起来慢慢学习 ！会给出论文题目，还有一些小小的note 整合图神经网络的英文表达 Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Ne...
深度学习网络篇——DenseNet
PRIS-SCMonkey的博客
12-24 2918
友情提示：请配合原文食用。 论文：Densely Connected Convolutional Networks 论文链接：https://arxiv.org/pdf/1608.06993.pdf 代码的github链接：https://github.com/liuzhuang13/DenseNet 0° Motivation 硬件突破和大数据集的完善，使原本凉凉的深度学习重新火了。自LeN...
DenseNet论文解读理解
blank_tj的博客
09-09 7960
论文名称：Densely Connected Convolutional Networks 论文链接：https://arxiv.org/pdf/1608.06993.pdf 代码的github链接：https://github.com/liuzhuang13/DenseNet DenseNet 作者在开头讲述了诸如ResNets、FractalNets、Highway等网络，...
【图像分类】DenseNet论文理解
qq_36926037的博客
10-13 1742
摘要   最近的研究表明：   如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接，则可以进行更深入、更准确和有效的训练。   连接方式:   接受了上面的观点，介绍了密集卷积网络（DenseNet），该网络以前馈方式将每一层连接到其他每一层。   ①传统卷积网络：具有L层则包含L个连接（每一层与其后一层之间包含一个连接）；   ②本文网络（DenseNet）：具有L层则包含L（L + 1）/2个连接。对于每一层，所有先前层的特征图都用作该层的输入，而改成的特征图则用作所有后续层的输入。    De
densenet论文解析
pdn的博客
06-22 618
简介 最近的工作表明，如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接，则可以更加深入，更准确，更有效地进行训练。 在本文中，我们接受上面的观点，并介绍了密集卷积网络（DenseNet），它以前馈的方式将每一层连接到其他层。 而传统卷积网络具有L层时其也具有L层的短连接 - 每层与其后续层之间都有连接 。但是当DenseNet网络为L层的时候，其具有L（L + 1）/2个直接连接。 对于...
DenseNet网络论文学习笔记
charles_zhang_的博客
06-26 520
Densely Connected Convolutional Networks最近的研究表明，如果卷积网络包含接近输入层和接近输出层之间的较短连接，则卷积网络可以更深入、更准确、更有效地进行训练。在本文中，我们接受了这一观察结果，并引入了稠密卷积网络（DenseNet），它以前馈方式将每一层连接到其他每一层。传统的L层卷积网络有L个连接，每个层和后续层之间有一个连接，而我们的网络有L（L+1/2个直接连接。对于每一层，所有先前层的特征图用作输入，其自身的特征图用作所有后续层的输入。DenseNets有几个
论文理解：DenseNet
水不在深有江的博客
07-28 1506
根据师兄的建议看了DenseNet论文。 还有其他人的一些笔记https://blog.csdn.net/malele4th/article/details/79429028 https://blog.csdn.net/u014380165/article/details/75142664   DenseNet仍然是针对出现的新问题：输入或者梯度信息穿过多层网络后，会在到达网络的结尾（对于...
实例分割：Dense RepPoints论文个人见解
LittleGreyWing的博客
10-22 1370
Dense RepPoints: Representing Visual Objects with Dense Point Sets 本文为个人阅读论文后总结，各板块只记录本人阅读时认为比较重要的部分 摘要 Dense RepPoints采取用大量点来描述一个物体的方法，包括在边框级别和在像素级别。 简介 RepPoints中只采样9个点限制了该类思想继续反映更加精细的结构如像素级别实例分割的能力。而这里采用了大量的点加上一些可选项来详细地表示一个物体。比如对于实例分割，Dense RepPoints可以
Deep Semantic Statistics Matching (D2SM) Denoising Network 论文解读和感想
qq_37614597的博客
07-24 1212
这使得我自觉的联想到了17年cvpr的一篇做图像transfer的文章“pixel2pixel”，在这篇文章中作者提出了一种新的鉴别器，即鉴别目标并不是整个图像的真假，而是图像中某一区域的真假，这种GAN架构也被称之为PatchGAN)。这是由于鉴别器要想拉近生成结果和真实结果的分布，就要先学习两个分布，而生成结果的分布是一直在变的，因此鉴别器就要一直去适应这种变化，而鉴别器的不稳定又会反过来引起生成器的不稳定。将同一个域的样本的相关性建模成概率分布的形式已经有很多的方法，作者在这里选择了用。...
RGCF：Learning to Denoise Unreliable Interactions forGraph Collaborative Filtering论文解读
zhao254014的博客
10-31 2012
提出了一种新的基于GNN的协作过滤方法，该方法通过对不可靠交互进行降噪，名为RGCF（鲁棒图协作过滤）。 我们在RGCF中设计了两个主要的技术模块。首先，我们通过识别更可靠的消息传递交互（图去噪模块）来直接改进图结构学习。其次，我们通过将从去噪交互数据和多样性增强数据（多样性保持模块）中学习到的用户偏好进行关联，进一步增强了推荐的多样性。
DenseNet论文详解
11-16 99
​ 最近的研究表明，如果卷积网络在靠近输入层与输出层之间的地方有（shorter connections），就可以训练更深、更准确、更有效的卷积网络。本文中，我们拥抱这个观点，介绍了稠密卷积网络（DenseNet），该网络在前馈时将每一层都与其他的任一层进行了连接。传统的L层卷积网络有L个连接——每一层与后一层有一个连接——我们的网络有LL1/2个连接。每一层都将之前的所有层的特征图作为输入，而它自己的特征图是之后所有层的输入。
DenseNets121 169
07-31
这种密集的连接模式使得DenseNet需要更少的参数，因为不需要重新学习冗余的特征图。DenseNet的每一层都从其上一层读取状态并写入下一层，同时保留需要的信息。DenseNet的层非常狭窄，只向网络的“集体知识”添加少量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值