DPN

最新推荐文章于 2024-03-08 10:44:32 发布
最新推荐文章于 2024-03-08 10:44:32 发布
阅读量249 收藏 1
点赞数
分类专栏： 图像分类 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fnoi2014xtx/article/details/106768226
版权

Paper : Dual Path Networks
Code : official

摘要

作者首先将ResNeXt和DenseNet使用HORNN的框架统一起来，说明了两个符合直觉的结论

  1. ResNeXt模型具有较高的特征复用性
  2. DenseNet模型可以更好的探索新特征
    接着，尝试使用直接将两个网络合并成一个网络，并说明在准确率良好的情况下，相比ResNeXt和DenseNet，计算力和模型规模更小。个人感觉结合方式没什么创新，分析得到的结论倒是值得一看。

网络结构

简单描述一下HORNN与ResNet和DenseNet之间的关系

image.png

  • ResNet复用了前面层已提取过的特征，除去这些直连的复用特征外，真正由卷积提取出来的特征基本都是之前没有提取到过的全新特征，所以ResNet特征冗余度比较低。
  • DenseNet前面层提取出的特征不再是被后面层简单的复用，而是创造了全新的特征，这种结构后面层用卷积提取到的特征很有可能是前面层已提取过的，所以DenseNet特征冗余度高。

DPN结合了两者的优点，既要复用特征，低冗余率，又要给予模型足够的灵活性发现新特征，表达式如下
image.png

其中 x k x^k xk为DenseNet path， y k y^k yk为ResNet path，从网络结构直观上看表示如下

image.png

参考的DPN网络结构设计

image.png

核心观点

  1. 对ResNet和DenseNet的优点进行了较为细致的分析
  2. 提出了将ResNext和DenseNet结合的方法
slothfulxtx
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DPN（Dual Path Network）算法详解
AI之路
07-22 4万+
论文：Dual Path Networks 论文链接：https://arxiv.org/abs/1707.01629 代码：https://github.com/cypw/DPNs MXNet框架下可训练模型的DPN代码：https://github.com/miraclewkf/DPN 算法详解： 本篇博文要介绍的duall path networks（DPN）是颜水成老师新作，前段
DPN 网络结构详解
qq_14811559的博客
12-15 1万+
DPN论文：https://arxiv.org/abs/1707.01629  keras框架代码：https://github.com/titu1994/Keras-DualPathNetworks Caffe框架代码：https://github.com/soeaver/caffe-model MXNet框架代码：https://github.com/miraclewkf/DPN py...
DPN（Dual Path Network）网络结构详解
zy的博客
07-30 1183
Dual Path Networks 网络结构详解
DPN网络
最新发布
qq_43570025的博客
03-08 873
此外，DPN使用了分组卷积来降低计算量，并且可以在不改变原有网络结构的前提下，提升性能，使其适合用于检测和分割任务作为新的。可以看到DPN的网络结构和ResNeXt的网络结构很类似。最开始是一个7×7卷积层，接着就是一个最大池化层，再然后是四个。DPN就是在ResNeXt和DenseNet的基础上，融合这两个网络的核心思想而成，论文原文见附录。这种结构的目的是通过不同的路径来利用神经网络的不同特性，从而提高模型的效率和性能。具体是怎么变化的了，接下来我们就一起来理解一下。整体结构是这样，重点就在每个。
深度学习第J4周：ResNet与DenseNet结合探索
m0_62237233的博客
04-04 824
根据J1~J3周的内容自由探索ResNet与DenseNet结合的可能性○是否可以根据两种的特性构建一个新的模型框架？○请用之前的任一图像识别任务验证改进后模型的效果（提取码：0mhm）
dpn网络的pytorch实现方式
09-18
DPN（Dual Path Networks）网络是由Chen et al.在2017年提出的一种卷积神经网络结构，它结合了ResNet的残差连接和Inception模块的优点，旨在提高特征提取的效率和模型的性能。PyTorch是一种广泛使用的深度学习框架，...
施耐德DPN系列小型断路器简介.rar
09-20
DPN系列小型断路器是施耐德电气在低压配电领域的一款重要产品，主要用于提供过载保护、短路保护以及隔离功能，确保电力系统的稳定运行。下面我们将详细探讨DPN系列小型断路器的特点、应用及技术规格。 DPN系列小型...
Keras-DualPathNetworks-master_keras_深度学习_DPN_
10-02
DPN，全称为Dual Path Networks，是由Chen et al. 在2017年提出的深度卷积神经网络结构。这个网络融合了ResNet（残差网络）和Inception Network（ inception-v4）的优点，旨在解决模型在增加深度时面临的梯度消失和...
nnet_rbm_深度学习_DPN神经网络_
09-29
在本案例中，我们将深入探讨一种特殊的深度学习模型——DPN神经网络，以及它与受限玻尔兹曼机（RBM）的结合应用。 **DPN神经网络：深度感知与精细化特征提取** DPN，全称为Deep Pyramid Residual Network，是由...
DPN-CIFAR10
12-30
DPN-CIFAR10是基于Pytorch框架实现的一个深度学习项目，主要目的是在CIFAR10数据集上测试DPN（Deep Pyramid Network）模型的性能。CIFAR10是一个广泛使用的图像识别数据集，包含10个类别的60,000张32x32像素的彩色...
经典神经网络 -- DPN : 设计原理与pytorch实现
_天涯__的博客
03-22 1272
原理 DPN这个模型融入了三种基础模型，inception，resnet，densenet。有inception的宽度，又有resnet的shortcut利用，和densenet的浅层特征重复利用 tensor的切片操作：a 是 [2,3,5,5]， 那么 a[:,:1,:,:] 就是 [2,1,5,5]。a,b 都是 [2,3,5,5] ，那么 torch.cat([a[:,:1,:,:] + b[:,:1,:,:]], dim=1) 还是 2, 1, 5, 5]， 数据相...
DPN网络学习
qq_48984174的博客
12-24 388
文章目录科普知识DPN架构 科普知识 [1].深度学习中卷积层和pooling层的输出计算公式 [2].理解分组卷积和深度可分离卷积如何降低参数量 [2].DPN（Dual Path Network）算法详解 [3].Pytorch实现版 DPN架构 import torch import torch.nn as nn import torch.nn.functional as F from collections import OrderedDict __all__ = ['DPN', 'dpn92
(深度学习)比较新的网络模型：Inception-v3 ， ResNet， Inception-v4， Dual-Path-Net ， Dense-net ， SEnet ， Wide ResNet
热门推荐
ling00007的博客
01-20 2万+
1. Inception-v3 （Dec，2015）  2. ResNet（Dec，2015）  3. nception-v4（Aug，2016）  4. Dual-Path-Net （Aug，2017）  5. Dense-net（Aug，2017）  6. SEnet（Sep，2017）  7. Wide Residual Networks（Jun 2017）
dpn网络的pytorch实现
朴素.无恙的博客
04-29 659
dpn网络的pytorch实现 import torch import torch.nn as nn import torch.nn.functional as F class CatBnAct(nn.Module): def __init__(self, in_chs, activation_fn=nn.ReLU(inplace=True)): super(CatB...
基于Dual Path Networks（DPN）的图像识别模型实践
大数据挖掘SparkExpert的博客
06-28 1856
图像识别模型已经非常多了，但是看到对于DPN的下面表述，动起了将它复现一下的念头：DPNs helped us won the 1st place in Object Localization Task in ILSVRC 2017, with all competition tasks within Top 3. (Team: NUS-Qihoo_DPNs)可见，DPN在2017的ILSVRC比...
Pytorch实现DPN网络
winycg的博客
04-10 1725
论文地址：https://arxiv.org/abs/1707.01629 该网络主要是将ResNeXt与DenseNet进行了融合。实质上是融合ResNet的element-wise的相加和Densenet的concatenate，只不过bottleneck层的3×3卷积使用了group卷积，所以看做了ResNeXt。 (d)图展示了具体过程，其实图中的圆圈+号为channel-wise的fe...
DPN（Dual Path Network）算法
xiaobian_的博客
04-02 1085
DPN到底有哪些优点呢？可以看以下两点： 1、关于模型复杂度，作者的原文是这么说的：The DPN-92 costs about 15% fewer parameters than ResNeXt-101 (32 4d), while the DPN-98 costs about 26% fewer parameters than ResNeXt-101 (64 4d). 2、关于计算复杂度，作者...
bottleneck resnet网络_DPN,ResNet,DenseNet
weixin_42498206的博客
01-09 416
ResNet,DenseNet下图中的（a）是ResNet的某个stage中的一部分。（a）的左边竖着的大矩形框表示输入输出内容，对一个输入x，分两条线走，一条线还是x本身，另一条线是x经过1*1卷积，3*3卷积，1*1卷积（这三个卷积层的组合又称作bottleneck），然后把这两条线的输出做一个element-wise addition，也就是对应值相加，就是（a）中的加号，得到的结果又变成下...
RPN网络学习
weixin_44019809的博客
03-02 431
RPN网络学习 在阅读学习了一些其他人关于RPN网络的讲解后，总结自己的理解. 如图所示： （1）在进入RPN网络之前，可以先经过数个卷积池化层的运算，然后得到一张特征图，这张特征图即为RPN网络的输入； （2）进入RPN网络后可以对其进行一次卷积操作，得到的还是一张特征图； （3）此时分为两条路线 a 和 b a：对于这张特征图上的每一点都会预测k=9个预选框，而第一条路线，需要用于区分这些框...
DPN网络模型结构详解
05-04
DPN（Dual Path Network）网络模型是一种深度神经网络，由微软亚洲研究院提出。它的设计思想是通过引入双通道和交叉连接来增强网络的表达能力，提高模型的准确性和稳定性。 DPN网络模型的主要特点是双通道和交叉...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值