自然界用了5亿年时间。
才把神经系统从最原始的雏形——阿米巴(Amoeba)变形虫分化出可对外界环境刺激做出响应的内浆，进化到现在的高度复杂的人脑。
如今我们人脑，相对目前阶段的机器来说，可以轻而易举完成各种复杂的任务。
而机器的算法模型要做到同样表现（能力范围还非常局限），必须得靠大量的在AI领域里深耕多年的专家才行。
像认猫、识图、辨别基因突变、或者是诊断疾病这些专项的任务，每一个有效的模型的搭建和调试都必须重度依赖AI专家的经验。
有没有什么方法，训练出一个据外界环境的变化，像阿米巴变形虫那样即时调整出最优的生存策略，不断自我进化获取最优结果的算法呢？
自进化的AmoebaNet
还真的有。
谷歌大脑今日就在研究博客更新，他们已经研究出了一种拥有很强的自我进化能力的神经网络，AmoebaNet。
这个工作的研究基础是2002年Stanley和Miikkulainen的神经进化拓扑学。而其他研究机构，OpenAI，Uber实验室，还有DeepMind他们也有在研究自进化的算法。
谷歌本身有强大的算力优势。所以谷歌大脑团队在琢磨，除了采用强化学习这种方法，怎么样才能能让图像分类器的迭代速度加快。
迭代速度快还不够，出来的效果也必须好，最好还不需要重度依赖专家。毕竟现在问题那么多，AI专家根本不够用。
快、好、省。这就是谷歌大脑要AmoebaNet满足的三个点。
做到快、好、省的思考路径
2017年ICML（国际机器学习大会），谷歌大脑发表了一篇论文Large-Scale Evolution of Image Classifiers。这个工作采用了非常简单的神经网络，以及简单的初始设定，让算法自己去进化出网络架构。当时这个算法的效果就已经可以媲美人工手调的模型了。
这项工作出来之后，大家还是挺激动的。因为这意味着越来越多的AI应用可以一定程度上减少模型人工搭建调试的压力。
这下，对没有时间进阶成一个AI专家的用户来说，也能获得一个效果越来越好的模型了。
谷歌大脑思考的下一个问题是，人工手调和自我进化结合的模型，效果会不会比单独的要好？
（人机结合疗效好？）
所以，谷歌大脑最近的一篇论文Regularized Evolution for Image Classifier Architecture Search就开始采用更为复杂些的网络以及优化过的初始设定，还用上了谷歌最新的TPUv2芯片。
这一次，谷歌大脑把最高配的硬件，AI专家的经验，以及自我进化的算法全砌上，就看在CIFAR-10和ImageNet上跑的效果怎么样了。
先看算法自我迭代的过程&效果
下图出自谷歌大脑的第一篇论文，每一个点代表用CIFAR-10训练后得到的神经网络。
△ 神经网络进化的实验过程。四张表代表了不同时期进化得到的神经网络架构，最右的是精确性表现最好的神经网络架构。前面三个都是最好的架构的前身。
刚开始，整个神经网络群都没有隐藏层，组成架构都是上千个一样的简单种子模型。
一开始用的种子模型（这一步还没有结合AI专家的经验），每次自我迭代之后，评估神经网络的分类表现。
把表现最好的，也就是分类结果最准确的神经网络挑出来，当作母代模型，用于下一次迭代。
然后在母代模型的基础上，做微调，进化生成更多的子代模型，归进整个神经网络群中（相当于进化生物学里的种群的概念）。
表现不是最好的模型就没有变异进化的机会。
谷歌大脑第一篇论文的工作涉及到的变异都很简单。
比方说，随机移除一个卷积层，或者在随意两层之间加一个连接，或者是改变学习的速率等等。
该工作的结果可以看出来自我进化算法的巨大潜力，虽然搜索空间的质量可能麻麻地(dei)。
举个栗子。
如果把其中一个种子模型改成Inception-ResNet分类器的话，那么可能会得到一个错误的结论：现在这个算法表现还不错，得到一个比较满意的结果了。
但是这样操作的话，我们就把这次的变异操作硬编码了（把这次行为固定下来了，以后不好改），这样的话就变成以最终结果数值为导向，而不是终极效果目标为导向了。
把其他可能性灭掉后，就达不到进化的目的了。
在这个工作里，谷歌大脑把人工操作的部分压缩到最小范围，包含对ReLUs和批标准化层的干预。
再看人机结合后的模型效果
在上一次工作之后，谷歌大脑想减少模型进化过程中的试错成本。采用2017年Zoph的类inception模块，有效地把搜索空间缩小，并固定了神经网络的架构，其中网络上节点的模块是可以替换掉的。
△ 2017年Zoph引入的类inception模块。
最左边的那个图，指的是整个神经网络的外部架构，输入的数据从底部往上处理。
最右边的图，是神经网络节点上的模块内部框架。
整个网络的目标是产出精确性最高的输出结果。
人机结合后模型的变异，是随机重连输出，或者随机替换模块。最后进化出来的模型是高质量的。
不同方法得到的模型效果对比
△ 自进化、强化学习、随机搜索产生的模型对比。
从图可以看出，在训练的早期，自我进化的模型用最少的算力就获得了最好的效果。
另外，自我进化模型很重要的一个特征是，最旧的、很久没获得变异机会的模型会被弃掉。这样整个神经网络群的进化速度会越来越快。更多细节可以参考论文。
最后，附阿米巴网络AmoebaNet论文地址：
https://arxiv.org/abs/1802.01548
& 编译来源：
https://research.googleblog.com/2018/03/using-evolutionary-automl-to-discover.html
源：量子位
加入Python学习微信交流群
请添加微信：AI_doer
备注：姓名-单位-研究方向
Learn with Google AI上线了! 让Google专家教你AI新技术
更
多
精
彩
请猛戳右边二维码
扫一扫
1047
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
