不更新权重只更新结构的神经网络《Weight Agnostic Neural Networks》读后总结

前言

这是一些对于论文《Weight Agnostic Neural Networks》的简单的读后总结，首先先奉上该文章的下载超链接：点击这里下载论文。这篇文章有交互式版本：交互式版本，这个交互式版本里面有非常多的视频，可以直观的看到这篇文章要做什么，做了什么以及做得怎样。

这篇文章是由Bonn-Rhein-Sieg University of Applied Sciences和Google Brain的人员合作完成的，作者分别是Adam Gaier和David Ha。该文章与众不同的从另一个方向来优化神经网络，通常，我们给出神经网络的结构并固定，初始化神经网络的参数，通过损失函数使用反向传播算法来更新参数以优化神经网络。该文章反其道而行之，其固定网络的参数，通过更新网络的结构来优化神经网络。

上图是这篇文章训练神经网络来做一些任务，左图是控制一个双足机器人（Bipedal Walker），右图则是控制一辆赛车（Car Racing），可以轻易的发现，这两个网络固有很大的不同点，其层数不一样，结构也不一样。有趣的是，在这些网络中，允许在同一层出现不同的激活函数。一切都是按照任务所需去构建网络，而不是我们人为的去设计网络。就像端到端的深度学习打败了手工制作特征的机器学习一样，这种自动搜索网络结构很有可能具有划时代的意义。

网络结构的搜索过程如下图所示：

简单来说其是一种贪心算法。

其网络结构有3种更新方式：

左：最小的网络拓扑，输入和输出仅部分连接。
中：网络是通过三种方式之一改变的。插入节点：通过拆分现有连接插入一个新节点。添加连接：连接两个不连通不同层的节点。更改激活：重新分配隐藏节点的激活函数。

通过这个算法，训练出来的识别MNIST数据集的网络如下所示：

下图是该文章的网络WANN在MNIST数据集下的结果

这篇论文在博客上多说无益，想要深入了解，必须得看交互式版本：交互式版本。