用于深度学习的演化神经AutoML

ABSTRACT

深度神经网络（DNN）已经在许多基准测试和问题领域中产生了最先进的结果。然而，DNN的成功取决于其ar-chitecture和超参数的正确配置。这种配置很困难，因此，DNN通常不会充分发挥其潜力。此外，商业应用中的DNN通常需要满足现实世界的设计约束，例如参数的大小或数量。为了简化配置，我们开发了用于深度学习的自动机器学习（AutoML）系统，主要侧重于超参数的优化。

本文将AutoML向前推进了一步。它引入了一个名为LEAF的渐进式AutoML框架，它不仅可以优化超参数，还可以优化网络架构和网络规模。 LEAF利用最先进的进化算法（EA）和分布式计算框架。医学图像分类和自然语言分析的实验结果表明，该框架可用于实现最先进的性能。特别是，LEAF表明架构优化提供了超级参数优化的显着提升，并且可以同时最小化网络，同时性能几乎没有下降。因此，LEAF为民主化和改进人工智能奠定了基础，并使AI在未来的应用中具有实用性。

1 INTRODUCTION

最近，由于计算能力和数据质量的提高，机器学习和人工智能的应用显着增加。特别是，深度神经网络（DNN）学习了高维数据的丰富表示，超越了计算机视觉，自然语言处理，强化学习和语音识别等各种基准测试中的最新技术水平。这种最先进的DNN非常庞大，由数亿个参数组成，需要大量的计算资源来训练和运行。它们也非常复杂，它们的性能取决于它们的架构和超参数的选择。

最近深度学习的大部分研究确实侧重于发现在特定任务中表现优异的专业架构。 DNN架构之间存在很大差异（即使对于单任务域&#x