《Large-Scale Evolution of Image Classifiers》要点提炼

本文提出的算法是基于遗传算法，对于网络计算资源要求较高，搜索空间是无限的。

论文要点：

1. 种群（population）中的每个个体（individual）都是训练好的神经网络，其适应度（fitness）为该网络结构在验证机上的准确度（accuracy）。
2. 基因编码（encoding）——将个体的结构编码成为有向图（graph）的形式。有向图有两个组成部分：一个是顶点（vertices），一个是边（edges）。有向图中的每个顶点表示神经网络中的特征图（rank-3 tensors or activations），激活函数可以通过两种方式作用于顶点，①BN+ReLU，②线性激活函数，即不做任何处理。边表示为卷积操作（convolutions）或是直接映射（identity）。不是左右的特征图都会进行激活函数操作，一个顶点可以被多条边指向。每条边作用在原顶点的特征图后，得到的新特征图的分辨率和通道数有可能是不一样的，因此要将多个特征图合并为一个，策略是：①随机选择一条边，将其作为直接连接，成为primary edge，其余边作为skip edge。②所有的skip edge对应的特征图都要reshape成为primary edge对应的特征图，具体的reshape操作为：通过最邻近插值变更分辨率，通过padding（添加新的特征图，特征图中所有的像素值为0）或1×1卷积