Regularized Evolution for Image Classifier Architecture Search--阅读笔记

论文来源：AAAI 2019
论文链接：Regularized Evolution for Image Classifier Architecture Search

Abstract

这篇论文开发了一种图像分类器AmoebaNet-A，它首次超越了手工设计。为此，我们通过引入年龄属性来修改比赛选择进化算法，以支持年轻的基因型。

当AmoebaNet-A具有与人工设计的模型大小一致时，二者精度相当；但当AmoebaNet-A比人工设计模型大时，AmoebaNet-A可获得更高的精度，top1-83.9% 和 top5-96.6%。

与强化学习对比，进化算法可以使用相同的硬件更快地获得结果。

Introduction

为了做到这个效果，作者进行了以下努力：

1. 首先，完善进化算法的个体选择部分，将其称为老化进化或正则化进化。 将每个基因类型与年龄相关联，保留最佳基因型（架构），并偏向锦标赛选择以选择较年轻的基因型。
2. 其次，实现了最简单的一组突变，这些突变将允许在NASNet搜索空间中进化。 该搜索空间将卷积神经网络架构与有向图相关联，其中顶点表示隐藏状态，标记边表示公共网络操作（例如卷积或池化层）。 我变异规则只是通过随机地将边缘的原点重新连接到不同的顶点并通过随机重新标记边缘来覆盖整个搜索空间来改变体系结构。