论文笔记-An Analysis of Deep Neural Network Models for Practical Applications

https://arxiv.org/abs/1605.07678

摘要

本文全面分析了在实际应用中的几项重要指标：准确率、内存占用、参数、操作数量、推理时间、功耗，并得出了以下几项主要研究结论：
（1）功耗与batch size和网络架构无关；
（2）准确率和推理时间呈双曲线关系；
（3）能量限制是最大可达准确率和模式复杂度的上限；
（4）操作的数量可以有效的估计推理时间。

准确率：

图1展示了提交给ImageNet挑战赛的架构的1-crop准确率，最左边的是AlexNet，最右边的是Inception-v4。
图2提供了各网络更详细的准确率值，将计算成本和网络参数的数量可视化呈现。首先非常明显的是，VGG 不管从计算需求还是参数数量方面来说，都是迄今为止最昂贵的架构，尽管它已经被广泛应用于许多应用程序。VGG 的16层和19层的实现实际上与其他所有网络都是隔绝的。其他的架构形成了一条斜线，到 Inception 和 ResNet 时，这条线开始变平缓。这表明这些模型在该数据集上到达一个拐点。在这个拐点上，计算成本（复杂性）开始超过准确率上的收益。

Figure 1: Top1 vs. network. Single-crop top-1 validation accuracies for top scoring single-model architectures.

Figure 2: Top1 vs. operations, size ∝ parameters. Top-1 one-crop accuracy versus amount of operations required for a single forward pass. The size of the blobs is proportional to the number of network parameters.

推理时间

Figure 3: Inference time vs. batch size. This chart show inference time across different batch sizes with a logarithmic ordinate and logarithmic abscissa. Missing data points are due to lack of enough system memory required to process larger batches. A speed up of 3× is achieved by AlexNet due to better optimisation of its fully connected layers for larger batches.
图3显示了每个图像在各架构上的推理时间，作为一个图像批大小（从1到64）的函数。我们注意到VGG处理一张图像所需时间约1/5秒，这使它在 NVIDIA TX1 上实时应用的可能性较小。AlexNet 的图像批大小从1到64的变化中，处理速度提升了3倍，这是由于它的全连接层的弱优化，这是个令人惊讶的发现，在下节中会进一步讨论。

参数利用率

众所周知，DNN在利用全部学习能力（参数量/自由度）方面非常低效。(Han et al., 2015)利用DNN的这个缺陷，使用权重剪枝（weights pruning）、量化（quantisation）和变长编码（variable-length symbol encoding）将网络文件大小减小了50倍。值得注意的是，使用更高效的架构能够产生更紧凑的表现。在图10中我们可以看到，虽然VGG比AlexNet的准确率更高（图1），但其信息密度不如AlexNet。这意味着在VGG架构中引入的自由度带来的准确率上的提高不大。此外，我们专门的设计的效率很高的ENet（Paszke et al.，2016），已经在ImageNet（Culurciello，2016）上进行了调整和再训练，取得了最高的分数，证明即使用1/24的参数，也足以提供最好的结果。

Figure 10: Accuracy per parameter vs. network. Information density (accuracy per parameters) is an effi-ciency metric that highlight that capacity of a specific architecture to better utilise its parametric space. Models like VGG and AlexNet are clearly oversized, and do not take fully advantage of their potential learning abil- ity. On the far right, ResNet-18, BN-NIN, GoogLeNet and ENet (marked by grey arrows) do a better job at “squeezing” all their neurons to learn the given task, and are the winners of this section.

结论

本文从准确率、内存占用、参数、运算量、推理时间和功耗方面，对ImageNet竞赛中多个最先进的深层神经网络进行了分析。从而对设计用于实际应用的高效神经网络提供参考并在实际部署中优化经常短缺性资源，这引导我们设计了针对ImageNet的ENet(Efficient-Network)。从上文可知，神经网络的准确率和推理时间呈双曲关系：准确度的微量增加会花费大量的计算时间；网络模型的运算数量能有效估计推理时间；就操作数量而言，能量约束将为最大可达到的准确度和模型复杂性设定特定的上限。 最后，我们展示了ENet在参数空间利用率方面是最好的架构，相对于参考模型AlexNet每个参数压缩多达13倍的信息，VGG-19是24倍。