Dual Path Networks

版权声明:本文为博主原创文章,转载请注明出处 https://blog.csdn.net/shuzfan/article/details/78274489

《Dual Path Networks》

一篇讲如何设计网络结构的文章,大体上整合了ResNet和 DenseNet的优点:
- ResNet: 侧重于特征的再利用(因为整合特征采用的是加和操作)
- DenseNet: 侧重于新特征的发掘(因为整合特征采用的是拼接操作)

我认为文章最大的贡献是为ResNet和DenseNet找到了一个形式统一的数学表达。

Github项目主页: https://github.com/cypw/DPNs

1. ResNet, DenseNet and Higher Order RNN

本文试图为ResNet 和 DenseNet找到一个形式统一的数学表达。

如式(1),\(h^t\) 表示 \(t\) 时刻的隐层状态;索引 \(k\) 表示当前时刻; \(x^t\) 表示 \(t\) 时刻的输入; \(f_t^k(\cdot)\) 表示特征提取; \(g^k\) 表示对提取特征做输出前的变换。

当假设 \(\forall t,k,\quad f_{t}^k(\cdot) = f_t(\cdot)\)时, 我们可以对上式做进一步的形式上的变换:用 \(r^k\) 表示中间结果,并令 \(r^0=0\)

其中, \(\phi^k(\cdot)=f_k(g^k(\cdot)\)。

(1)Higher Order RNN

对于HORNN,所有时刻的权重都是共享的,即 \(\phi^k(\cdot)\)保持不变,于是有:

\(\forall t,k,\quad f_{k-t}^k(\cdot) = f_t(\cdot)\)

\(\forall k, \quad g^k(\cdot)=g(\cdot)\)

(2)ResNet

对于ResNet,显然 \(\phi^k(\cdot)\)在每一时刻都是变化的,且 \(x_k=0,\ k>1\),于是总结有:

\(\forall t,k,\quad f_{k-t}^k(\cdot) = f_t(\cdot)\) 但 \(g^k\)不共享。

(3)DenseNet

对于DenseNet, 每一时刻(即每一个mini-block)都有其独有的参数,即不要求任意时刻\(f_t^k(\cdot)\)保持不变。 于是,我们可以认为ResNet是DenseNet的特殊情形。

结合上面的分析,下图中的(a)和(b)说明了ResNet与RNN的关系;下图中的(a)和(c)说明了ResNet与DenseNet的关系。

2. Dual Path Networks

通过上面的分析,我们可以认识到 :

  • ResNet: 侧重于特征的再利用,但不善于发掘新的特征;
  • DenseNet: 侧重于新特征的发掘,但又会产生很多冗余;

为了综合二者的优点,作者设计了DPN网络,其数学形式如下:

显然,式(5)表示DenseNet的形式,侧重于发掘新特征;式(5)表示ResNet的形式,侧重于特征的再利用;式(6)表示二者结合。

下图给出DPN的设计结构:

这里写图片描述

如上图所示,图(a)是残差网络示意图;图(b)是 DenseNet的示意图,其中加下划线的1x1卷积是临时增加的,只为了和(a)在形式上对齐; 图(c)表示当将所有第一个1x1卷积共享后,DenseNet可以退化为残差形式; 图(d)为DPN; 图(e)为DPN的实现形式,其中 \(\wr\) 表示拆分;

由于DenseNet的Concat操作会加宽feature map,为了减慢增宽速度同时减轻GPU的使用,因此如上图(e)所示:网络结构以ResNet的加和为主体,以DenseNet的拼接为辅助。 同时,为了进一步提高网络表达能力,每个Block的第2个卷积层,采用了group操作。

具体的网络结构如下表所示:(注意下参数量param以及计算量FLOPS的对比:)

这里写图片描述

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页