经典CNN结构之DenseNet 更深更宽之外

序言

Densely Connected Convolutional Networks, In CVPR 2017 (Best Paper Award).DenseNet摆脱了加深网络层数和加宽网络结构来提升网络性能的思维定式,从特征feature的角度考虑，通过特征重用和bypass设置，大幅度减少了网络的参数量。
DenseNet主要对标ResNet和Inception，l论文从2016年到2018年持续迭代优化了五次，v1[Thu, 25 Aug 2016 00:44:55 UTC (1,175 KB)]到v5[Sun, 28 Jan 2018 17:12:02 UTC (5,266 KB)]。

网络结构

图解

详解

CNN网络要么更深，go deeper，如ResNet;
CNN网络要么更宽，go wider，如GooLeNet Inception;
本文则另辟蹊径，重点关注feature，通过对feature的极致利用达到更好的效果和更少的参数。
【直接将所有层连接起来】
【更激进的密集连接机制】
【与ResNet connection差别】 resnet>

densenet>

一顿狂加，不够优雅，对比借鉴。

创新思想

核心点

1.加强featrue连接传递；
2.充分利用feature信息；
3.一定程度上较少了参数量和梯度消失。

感悟点

工程落地时不怎么好用

论文复现

参考论文

1.Densely Connected Convolutional Networks.Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger .

代码实现

官方实现https://github.com/liuzhuang13/DenseNet