独家 | 人工神经网络中发现了人类大脑拥有的多模态神经元（附链接）

作者：Gabriel Goh, Chelsea Voss, Daniela Amodei, Shan Carter, Michael Petrov, Justin Jay Wang, Nick Cammarata, and Chris Olah
翻译：欧阳锦 校对：王可汗

本文约4000字，建议阅读12分钟本文探讨了OpenAI在CLIP模型中发现人类大脑多模态神经元的发现，并对这项发现进行了深入的思考和研究。

标签：神经网络 通用人工智能 语言模型

OpenAI最近在CLIP神经网络上发现了神经元。无论这是字面意义、象征意义还是概念上的表示，这些神经元都对相同的概念做出反应。这个发现或许可以解释CLIP在对令人惊讶的视觉化概念分类时的准确度。同时，这种发现让人们向理解CLIP和其他类似模型在训练过程中学习到的关联和偏差迈出了重要的一步。

内容

• CLIP中的多模态神经元

• 不存在的概念（concepts）

• 多模态神经元的构成

• 抽象（abstraction）的悖论

• 野生攻击

• 偏差与过度泛化

• 总结

 

十五年前，Quiroga等人1发现人类大脑中拥有多模态神经元。这些神经元会对围绕着一个高级主题的抽象概念（而不是对特定视觉特征的抽象概念）做出反应。其中，最著名的当属“Halle Berry”神经元，这是一个被《科学美国人》和《纽约时报》都使用过的例子。这个神经元只对美国女演员“Halle Berry”的相片、草图、文字做出反应。

《科学美国人》

https://www.scientificamerican.com/article/one-face-one-neuron/

《纽约时报》

https://www.nytimes.com/2005/07/05/science/a-neuron-with-halle-berrys-name-on-it.html

两个月前，OpenAI发布了CLIP，这是一个可与ResNet-50 2表现力相比肩的通用视觉系统。不仅如此，在一些具有挑战性的数据集上，CLIP的表现超过了现有的视觉系统。这些具有挑战的数据集（ObjectNet，ImageNet Rendition和ImageNet Sketch）均对模型的鲁棒性进行了压力测试，不仅要识别简单的变形、光照或姿势变化，还要完成对物体（无论是以草图、卡通或雕塑的形式出现）的抽象和重建。

CLIP

https://openai.com/blog/clip/

现在，OpenAI要发布关于CLIP中存在多模态神经元的发现。举个例子，一个“Spider-Man”神经元（与“Halle Berry”神经元类似），它会对蜘蛛的图像，对标注了“spider”文字的图像，以及漫画人物“蜘蛛侠”的服装或插图做出反应。

 

OpenAI在CLIP中发现的多模态神经元为这些研究人员提供了线索——抽象是合成视觉系统与自然视觉系统中的普遍机制。由此，他们发现CLIP的最高层将图像组织为“ideas”的松散语义集合，这些集合从而对模型的通用性和表现形式的紧凑性做出了简单解释。

生物神经元，诸如著名的“Halle Berry“”神经元不会激发“ideas”的视觉集群，而是激发语义集群。在CLIP的最高层，研究人员发现了相似的语义不变性。请注意，这些图像被Quiroga等人1的高分辨率图片替代，Quiroga等人的这些高分率图片本身就是原刺激的替代。

OpenAI使用可解释性工具，对CLIP权重之内的丰富视觉概念进行了史无前例的研究。他们在CLIP中发现了涵盖人类视觉词典大部分的高级概念，包括地理区域、面部表情、宗教图像、名人等。通过探究每个神经元的后续影响力，我们可以对CLIP如何执行分类任务加深了解。

CLIP中的多模态神经元

本文建立在近十年来对卷积网络解释3,4,5,6,7,8,9,10,11,12的研究基础上，本研究首先观察到许多经典技术可以直接用于CLIP。OpenAI使用了两种工具对模型激活进行理解：特征可视化6,5,12（feature visualization）和数据集示例4（dataset examples）。前者是通过对输入进行基于梯度的优化最大化神经元的激活；后者则是观察一个数据集中一个神经元最大激活图像的分布。

使用这些简单的技术，研究者们发现CLIP RN50x4（ResNet-50 利用 EfficientNet 扩展规则扩增 4 倍）中的大多数神经元都可以被轻易地解释。然而，这些神经元似乎是“多面神经元（multi-faceted neurons）” 11的极端示例，即这些神经元仅在更高的抽象水平下对不同示例做出反应。下面的图片展示了它们的区别：