论文Weight Agnostic Neural Networks(WANNs)解读

Google新发布的Weight Agnostic Neural Networks（权重不可知神经网络，WANNs）这几天很火，这个网络的确是一个具有颠覆性结构的神经网络，号称“不需要经过训练就可以达到很好的预测效果"。
借此机会，本人也瞻仰了这篇论文，下面给大家用我的视角解读一下这篇颠覆性的论文。 这篇博客不是严格的对文章进行翻译，而是对论文的内容进行讲解，原则是尽量忠于原文，但更多的是我的概括，理解，让大家可以更加理性、客观的理解被许多公众号讲解的面目全非（当然这个词可能有点夸张）的这篇“网红”论文。（毕竟本人的英文水平还没有到达可以一字不差的翻译的水平，有些东西还请大家谅解、及时和我提出）
先放出论文：http://arxiv.org/abs/1906.04358

Abstract

文章开篇向我们提出一个问题：现在的所有神经网络结构每一个都大相径庭，针对不同的任务会有不同的表现。那些神经网络中神经元与神经元之间相连的权重究竟有多重要呢？作者把构成神经网络的两个元素抽离出来：一个是权重，另一个是结构。论文主要研究的问题便是：找到一些特定过的神经网络结构，他们的神经元之间的连接权重是共享的且与生俱来固定的，并让这些神经网络模型在没有修改任何权重（即没有训练）的条件下完成一些增强学习任务。

Introduction

这个想法其实是借鉴了刚出生的动物的行为，不少动物在刚出生的时候（例如蛇、蜥蜴）在破壳的时候就已经知道如何辨认、应对和躲避天敌，这就是一个典型的“神经网络还没有被训练就可以应用的例子”。
作者希望能够寻找到一些特定的神经网络结构，这些结构里面就已经自带编码了适用于某种特定任务的规则，从而在神经网络中所有神经元链接的权重都是同一个初始值并未经过训练更改权重的情况下，该神经网络可以完成许多特定的任务。这个便是论文介绍的主体WANNs.

（相关工作在这里就不介绍了）

Weight Agnostic Neural Network Search

创造一个可以把某些规则预定义在神经网络结构里面的神经网络模型是一个与以前所有的任务都大不同的问题，我们姑且把这个问题称为NAS（ neural architecture search）。通过NAS创造的神经网络并非天生具有上一章节所描述的那种特性，也没有人认为这样得到的神经网络在没有训练更新权值的情况下可以面向某些任务；这些神经网络只不过是一种更加适合于训练而用在某些特定任务上的而已。

要创造了一个编码了适用于某个特定任务的规则的神经网络结构，那么神经网络的另一个重要组成部分“权重”的重要性就应该被进一步淡化。作者先做了一个尝试，就是将神经网络中的每一个神经元连接的权重都随机初始化，但是最后发现这么做不可行，因此，作者决定用一个统一的值来代替所有神经元连接的权重，这样做有许多的好处。这样得到的网络，便是WANNs了。这些寻找的神经网络结构可以总结为以下的几个步骤：1.初始化一个基本神经网络的种群（population）；2. 在上述的神经网络种群中，测试每一个神经网络的多方面的性能（multiple rollout）;3.对测试完性能的神经网络进行排序;4. 通过排序的结果,再生成一个新的神经网络种群.之后,重复2,3,4步骤.
这里面,还涉及到了拓扑研究(Topology Search).在上面生成初始神经网络种群的时候,每一个神经网络都通过在最小化神经网络(一个没有隐层的神经网络,仅有一个输入以及一个输出)中进行拓扑操作(增加一个节点\增加一个神经元之间的连接\改变神经元连接的激活函数)得到.
那这些生成的神经网络的性能如何判断呢?每一个神经网络会被在指定的任务中进行测试.首先,生成的神经网络中的所有的连接权值都是共享的(在-2,-1,-0.5,0.5,1,2中取值)这样做还有一个好处是消除给每个神经网络评判好坏的差异和不确定性.每一个神经网络的权值都会都会用-2到2测试一遍.在测试时性能时,会将神经网络的大小作为排序的一个依据.对于每个神经网络,主要测试的项目有:一个神经网络采用从-2到2的权值时的平均表现(下称为平均表现);在最适合的权重下的最好表现(下称为最好表现);一个神经网络的神经连接的总数(下称为连接总数).而排名则基于支配关系(Dominance relations).这里采取一个选择参数的策略:80%的情况下,神经网络排序采取平均表现+连接总数的指标,20%的情况下,排序采取平均表现+最好表现的指标.

Experimental Results

1. 连续控制任务.被用在三个连续控制任务上进行性能的测试.
   第一个叫做CartPoleSwingUp,是一个经典的连续控制任务.它的任务是控制底座，使一根杆子保持竖直（类似马戏团里小丑的表演）这个任务并不简单，不能使用普通的线性控制器（linear controller）解决。第二个任务是BipedalWalker-v2。这个任务是帮助一个双足机器人穿越一片随机生成的地形。最后一个任务是CarRacing，这是一个控制小车在赛道上行驶而不偏离赛道的任务。作者用四种情况的WANNs进行测试：1. 每个神经元连接赋予-2到2的随机权重。2.每个神经元连接赋予同一个-2到2的共享权重。3.每个神经元连接赋予性能表现最好的权重。4.每个神经元连接被赋予基于神经网络种群的单独的增强的权重（原文： individual weights tuned using population-based REINFORCE ）
   测试结果表明，WANNs并非完全不依赖于权重，当使用第一种情况进行测试的时候，它们表现较差。在基于第三种情况的测试时，结果令人满意。这表明操作这些任务的规则已经被编码进了神经网络的结构当中，当权重被进行训练之后，将会得到一个更好的结果。
2. 分类任务：WANNs的这种对于输入和输出关系的编码能力不难让人想到它可能可以应用在分类任务上。作者测试了WANNs在手写数字集（MNIST）上的表现，发现即便是在这样一个输入数据高纬度的分类任务上，WANNs的表现也是十分不错的。一个没训练的WANNs在MNIST上的表现能力和一个被用梯度下降法训练好的单隐层神经网络表现能力旗鼓相当。但是需要注意的是，当WANNs中的共享的权重取不同的值时，模型的准确率表现也会有所不同，因此猜想，在网络结构一定时，共享的权重取不同的值的时候，一个WANNs模型可能可以适用于不同的任务。

好了，这篇论文主题的翻译解读就到这里。剩下还有Disscusion and Future Work, Supplementary Materials for Weight Agnostic Neural Networks 没有解读，但这些部分都不太重要了。如果大家想看的话可以去看原论文，或者给我留言，我下次继续写。

总的来说，这个WANNs网络并没有那么神乎其神，他的核心就是通过随机生成神经网络，测试表现，并用表现最好的神经网络作为基础继续生成神经网络，直到得到一个表现最好的神经网络为止，有点类似遗传进化。这样得到的神经网络，不需要对权值进行训练，结构中就已经包含了处理任务需要的规则，已经可以达到一个较好的表现结果，再加上后期的训练，将会表现得更好。

如果有任何疑问，或者我讲错的地方，欢迎联系我：1012950361@qq.com 谢谢大家