一个专门用来模仿飞蛾识别味道的神经网络，说明了为什么飞蛾的学习速度远超机器-----转载

一个专门用来模仿飞蛾识别味道的神经网络，说明了为什么飞蛾的学习速度远超机器

原创： DeepTech深科技 3月15日

作为现代机器学习基石的深度神经网络，虽然模仿的是生物神经网络，但其实这两者之间有着极大的区别。抛开仅有的一些相似处，有些重要的机器学习机制没有任何自然界的版本，而这两者学习过程之间也有着大量的不同。

这些区别很有可能解释了为什么机器学习系统在某些领域中的表现远逊于自然系统。就拿昆虫来说，昆虫仅需接触几次新的气味就能学会如何识别这些新气味。而机器则需要海量的数据集才能学会。因此，计算机科学家希望通过加深对自然学习方式的了解来减少这两者之间的距离。

为了进一步找出自然与机器学习之间的差距，华盛顿大学研究科学家Charles Delahunt与他的团队创造出了一款模仿烟草天蛾（学名：Manduca sexta）嗅觉学习系统的结构与行为的人工神经网络。他们表示，他们的系统可以对自然神经网络的学习方式提供一些重要的见解，为机器学习带来突破。

与其他动物相比，飞蛾的嗅觉系统比较简单，并已被神经科学家们很好地绘制出来。它是由5个独特的网络组成，由每个网络向下一个网络一层一层的传输信息。

飞蛾嗅觉系统的首层网络，是一个由3万多个用于检测气味的化学受体所组成的系统。它会把一套嘈杂的数据传输到下一层：天线叶（antenna lobe）。天线叶含有大约60个叫Glomeruli的单元，每一个单元都会专注于一种气味。

天线叶会把分析过一边的气味数据传输给含有4000个kenyon细胞的蘑菇体（Mushroom Body），把它编成记忆。

作为记忆，这些关于气味的信息最终会被一层仅有两位数的外在神经元读取。它们将把来自蘑菇体的信号转化为行为，比如“向上飞”。

这个系统在多个方面与机器学习网络完全不同。就拿天线叶来说，它会把信息编码到低维参数空间中，把信息传输给蘑菇体；但蘑菇体却会把信息编码到高维参数空间中。相比之下，人工神经网络每层的维度都十分相似。

• （这里就涉及到网络设计最原始的问题，就是不同层次之间除了最原始的特征线性组合之外是否存在特定的结构能有效加快学习的速度，自然进化里面有优胜略汰的机制，所以识别出来的结构对生存应该是有意义的，竞争？？？）

*

此外，一旦飞蛾成功的识别一种气味，这将出发一个奖励机制，导致神经元向天线叶与蘑菇体喷射一种叫“章鱼胺”（octopamine）的化学神经递质。

这种奖励机制在学习过程中起到了至关重要的作用。在飞蛾脑中，章鱼胺可以帮助加强产生成功的神经线路。这也是赫布学习（Hebbian learning）中最重要的理论之一，即“一起激发的神经元也会连在一起”（Cells that fire together, wire together）。确实，神经科学家早就知道去掉章鱼胺的飞蛾是无法学习的。我们只是不知道章鱼胺的具体工作方式。

而机器的学习方式则十分不同。它依赖的是一种叫“反向传播”（backpropagation）的过程，通过调整每个神经元之间的连接来提高结果。但是在这个过程中，信息是在神经网络中进行反向流动的，而它在自然中也没有任何相似的存在。
*

• （正向的激励能否得到一个泛化较好的速度快的模型，有效应用在实时检测领域？？？）

*
为了更好地了解飞蛾学习的方式，Delahunt的团队创造出了一款模仿自然神经网络的工作方式的人工神经网络。“我们创造出来一款端到端的计算模型来模仿烟草天蛾的嗅觉系统，包括天线叶与蘑菇体在章鱼胺刺激之下的互动行为”，他们说道。

这款模型的设计理念就是在每一层百分百重现自然系统的一切行为。比如由气味受体所产生的嘈杂信号，以及数据从天线叶传输到蘑菇体时所产生的维度变化。它甚至还包含了一个模仿章鱼胺作用的机制。

最终的结果十分有意思，这款模型显示，气味受体所产生的嘈杂信号会受到天线叶的前置放大。但是，这些信号在传输到蘑菇体时所经历的维度变化可以有效的排除一切噪声。因此，这些干净的信号可以让该系统输出“向上飞”这种明确的指令。

• （这个结论有意思的地方在于除了卷积外是否信号处理领域的信号放大和去躁功能能为神经网络设计提供指导？？？）

而章鱼胺所起到的作用也更明确了。这款模仿系统显示，在没有章鱼胺的情况下其实也可以实现学习，但由于它的速度极慢，相当于不存在。这意味着章鱼胺是一种强效学习加速剂。

但是章鱼胺具体是如何实现加速功能的呢？Delahunt与团队认为“这可能是一种让飞蛾绕开新增突触在赫布生长时固有的有机约束的方式，否则这种约束可能将飞蛾学习的速度限制在一个难以接受的速度。”

此外，章鱼胺还有另外一个作用。赫布学习只能加强现有的神经连接，因此无法解释新的神经线路是如何产生的。Delahunt表示章鱼胺还可以打开新的传输通道来形成连接：“这会扩展系统学习时能够探索的解空间”。

总体来说，这款模仿自然神经网络的人工神经网络系统完美的实现了它的设计目标，以一个自然的方式学会了分别气味。“我们的模型可以学习新的气味，通过模仿出来的整合-激发神经元也与飞蛾体内激发率的统计特征一致”，Delahunt说道。

广泛来说，此项研究成果可能给人工神经网络领域带来极大的影响。“从一个机器学习角度来看，该模型提供了一个由自然启发的机制，并将十分利于建设需要用极少样本实现迅速学习的神经网络”，该团队总结道。

所以，未来的机器学习网络很可能将会包含章鱼胺等神经递质的仿品。

当然，神经递质并不只在学习时有着重要的地位。神经科学家们十分了解它们在情绪与情绪调节等机制中的地位。而这，则可能成为机器学习研究者的下一个研究方向了。

-End-