文 / Google Brain 团队研究科学家 Barret Zoph、Vijay Vasudevan、Jonathon Shlens 和 Quoc Le
几个月之前,我们推出了 AutoML 项目,这是一种实现机器学习模型设计自动化的方式。尽管我们发现 AutoML 能够设计出性能可与人类专家设计的神经网络相媲美的小型神经网络,但这些成果仍被限制在 CIFAR-10 和 Penn Treebank 一类的小型学术数据集方面。我们对这种方法在更大、更具挑战性的数据集(例如 ImageNet 图像分类和 COCO 对象检测)上的表现充满好奇。在学术竞赛中,人类已经发明了许多最先进的机器学习架构来处理这些数据集。
在学习可转移的架构来实现可扩展的图像识别 (Learning Transferable Architectures for Scalable Image Recognition) 论文中,我们将 AutoML 应用到 ImageNet 图像分类和 COCO 对象检测数据集中 - ImageNet 和 COCO 是计算机视觉领域两个最受认可的大规模学术数据集。这两个数据集对我们来说是一项非常大的挑战,因为它们要比 CIFAR-10 和 Penn Treebank 数据集大许多数量级。例如,单单将 AutoML 直接应用到 ImageNet 中就需要对我们的方法进行数月的训练。
为了能够将我们的方法应用到 ImageNet,我们对 AutoML 方式做了两点调整,让它可以更容易地处理大规模数据集:
-
我们重新设计了搜索空间,以便 AutoML 找到最佳层并灵活进行多次堆叠来创建最终网络。