好用的cnn网络_EfficientNet-可能是迄今为止最好的CNN网络

卷积神经网络(cnn)通常是以固定的资源成本开发，然后在更多资源加入进来时扩大规模，以达到更高精度。例如，ResNet最近的一篇ICML文章提出了一个更有原则性的方法来扩大 CNN 的规模，从而可以获得更好的准确性和效率。

该论文提出了一种新的模型缩放方法，它使用一个简单而高效的复合系数来以更结构化的方式放大 CNNs。 不像传统的方法那样任意缩放网络维度，如宽度，深度和分辨率，该论文的方法用一系列固定的尺度缩放系数来统一缩放网络维度。 通过使用这种新颖的缩放方法和 AutoML这种模型称为 EfficientNets，它具有最高达10倍的效率(更小、更快)。

暂且称其为复合模型缩放

为了了解网络缩放的效果，作者系统地研究了缩放不同维数对模型的影响。 虽然缩放单个维度可以提高模型性能，但作者观察到，根据可用资源平衡网络的所有维度ーー宽度、深度和图像分辨率ーー可以最大限度地提高整体性能。

复合缩放方法的第一步是执行网格搜索，以找到在固定资源约束下基线网络的不同缩放维度之间的关系。这决定了上面提到的每个维度的适当比例系数。 然后应用这些系数扩大基线网络，以达到期望的模型大小或资源要求。(b)-(d)为传统的缩放方法 ，e为作者的方法，来自论文

与传统的缩放方法相比，这种复合缩放方法不断提高模型的精度和效率，可用于扩展现有的模型，如 mobileet (+ 1.4% 的图像集精度)和 ResNet (+ 0.7%)。

Efficientnet Architecture

模型扩展的有效性在很大程度上依赖于baseline网络。为了进一步提高性能，作者还开发了一个新的基线网络，通过使用 AutoML MNAS 框架执行神经结构搜索，优化了准确性和效率。 最终的架构使用移动反向bottleneck卷积(MBConv) ，类似于 mobileenetv2和 MnasNet。作者提出的baseline网络：EfficientNet-B0

最终性能

作者将该效率网络与 ImageNet 上其他现有的 cnn 进行了比较。 一般来说，高效网络模型比现有的 cnn 具有更高的精度和更高的效率，减少了参数大小和 FLOPS 数量级。 在高精度体系中， EfficientNet-B7在 imagenet 上的精度达到了最高水平的84.4% ，而在 CPU 使用方面比以前的 Gpipe 小8.4倍，快6.1倍。 与广泛使用的 ResNet-50相比，作者提出的 net-b4使用了类似的 FLOPS，同时将准确率从 ResNet-50的76.3% 提高到82.6% (+ 6.3%)。

尽管 EfficientNets 在 ImageNet 上表现良好，但为了更有用，它们也应该转移到其他数据集上。 为了评估这一点，作者在八个广泛使用的学习数据集上测试了 EfficientNets。 在8个数据集中，有5个数据集的精度达到了最高水平，比如 CIFAR-100(91.7%)和 Flowers (98.8%) ，而且参数减少了5个数量级(最多减少了21个参数) ，这表明该网络也能很好地传输数据。

通过对模型效率的显著改进，预计 EfficientNets 可能成为未来计算机视觉任务的新基础。 作者开源了EfficientNet 网络模型

参考