论文地址：https://arxiv.org/abs/1909.00948
论文总结
HarDNet，是Harmonic Densely Connected Network，可以看做是简化版的DenseNet，通过一定的规则使得ShortCut连接稀疏化，如下图所示。
作者提出了一个新的指标 CIO，其简单地定义为每个卷积层的输入输出tensor size和， C I O = ∑ ( c i n l ∗ w i n l ∗ h i n l + c o u t l ) ∗ w o u t l ∗ h o u t l ) CIO=\sum(c_{in}^l*w_{in}^l*h_{in}^l+c_{out}^l)*w_{out}^l*h_{out}^l) CIO=∑(cinl∗winl∗hinl+coutl)∗woutl∗houtl)。作者建议将访问中间feature map的内存流量看做主导推理延迟的重要因素，而CIO在一定程度上是和DRAM的流量测量成正比的，可以被认作是DRAM的流量近似值。同时，作者验证了推理延迟和内存流量消耗成正比。
由于对CIO的跟踪，作者认为使用Conv 1 ∗ 1 1 * 1 1∗1是不划算的，因为Conv 1 ∗ 1 1*1 1∗1具有非常低的MoC（MACs over CIO）。
因为数据搬运次数多的时候，需要较长时间的流量，所以大部分DenseNet的连接层是要去除的，以减少Concat消耗。这样节省下来的时间，可以用来增加一些层的 input / output 通道比（通过增加一层的通道数），即稍微增加了模型的MACs却能节省时间。
3561
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
