深度学习探秘：以DenseNet为实例的运算性能与模型结构分析

1 引言

作为CVPR 2017最佳论文奖的Densely Connected Convolutional Networks ，一经公开就受到了广泛的关注，DenseNet在参数，计算量和网络性能等各方面表现都很出色，它的创新思想也给了所有深度学习的研究者巨大的启发。
令人遗憾的是，国内国外不少深度学习爱好者都对DenseNet在内存（本系列中不特殊说明的话，内存是指GPU内的memory）方面的消耗有一些疑惑，尽管DenseNet论文作者做了清楚的说明，也完成了Memory Efficient Implementation of DenseNets，但很多人仍旧人云亦云，也没有自己进行试验和分析。本系列的第二篇文章会对这一点进行详细探讨。

需要说明的是，本系列不是对DenseNet的介绍文章，而是以DenseNet作为实例，来尝试对深度学习系统进行工程化的分析，主要在训练、运算性能和模型结构三个方面来讨论。

2 代码实现简介

包括论文作者的代码在内，DenseNet已经有很多实现了，不过为了复现论文的结果，我仍旧自己做了一个实现，应该说还是比较准确的复现了论文的。

全部代码见：https://git