联想网络同传系统_皮层网络结构的联想学习“理论”

本文来自公众号“吴思Lab计算神经科学及类脑计算”，AI科技评论 获授权转载，如需转载，请联系吴思Lab。

编者按：张单可博士是我们课题组已毕业的博士生。最近刚从美国东北大学做完博士后回来，在中国科学院深圳先进技术研究院工作。这是他在博士后期间完成的工作，从计算角度探索了大脑皮层结构的一般性规律，论文发表在Journal of Neuroscience, 2019。
吴思

1. 皮层神经网络结构解析：难！

人们常说：结构决定功能。这句话可能并不完全正确。但至少说明：对于任意的一个物理系统，其功能很大程度上取决于其结构，比如大脑。大脑相比于传统的计算机，在信息处理的很多方面都不相同，比如其信息感知，传递，处理和存储的方式或方法，以及信息处理的能量利用效率等等。所有这些功能都依赖于大脑皮层错综复杂而又相对有序的结构。

弄清楚大脑到底具有什么样的结构并不容易，甚至可以说很难。大脑皮层有着极其复杂的结构，无论是从单个突触的角度，还是单个细胞，或者是某一个具体的皮层区域。

目前，对于皮层神经网络中不同类型的神经细胞之间的网络连接结构，人们知道的尤其少。究其原因，主要有如下两条。首先，由于大脑皮层可能由上百种不同的细胞所组成（具体多少种还没有定论，假如类别数为C），如果要在统计上描述皮层网络的连接特征，那么，我们至少应该知道任意两种细胞类型之间的连接概率。

这样，一共有C的平方条皮层连接通路。C的平方，这是一个巨大的数字！然而，目前实验上还只是研究了很少一部分神经细胞间的连接通路的特性。其次，相比于其他的物理系统，大脑皮层网络结构是高度动态的。神经细胞之间通过突触建立连接，其突触大小反映了细胞之间的连接强度。实验发现，很多突触的大小在数分钟之内就会变化甚至消失。

因此，以上两个客观事实表明，弄清楚大脑连接的结构是当代神经科学非常具有挑战性的科学问题。

2. 局域皮层神经网络结构特征

随着近些年神经科学实验技术的快速发展 (比如近些年开发出的各种脑结构成像技术)，有关描述神经系统结构和功能方面的数据开始大量累积。在这方面，欧洲开展的蓝脑计划（Blue Brian Project），美国的脑计划（Brain initiative），还有中国脑计划都有相关的脑结构或者功能图谱相关的解析工作计划。

目前为止，通过电生理实验技术，我们对于大脑皮层局域网络神经细胞之间（小于100微米）的连接统计特性已经积累了很多的认识。详细地整理局域皮层网络细胞之间到底有什么样的定量连接特征显得愈发必要（具体细节见文献[1]），为此，我们查找并收集了自1990年到2016年描述皮层神经网络细胞连接规律的一共近200篇文献。

数据集显示，细胞之间兴奋性的连接概率通常较小（小于20%），而抑制性的连接概率较大（25%到56%）；细胞之间突触连接强度服从长尾分布，通常被大家拟合为log-normal 分布；两个、三个或者三个以上细胞之间的连接模式也有特定的规律，尽管这方面的实验文献报道还相对较少。综上，所有这些文献都一致表明，大脑皮层网络不同的细胞之间绝对不是简单的随机连接网络。

3. 联想学习与皮层神经网络的结构

做了一些文献整理工作后，作为计算建模工作人员，我们想问一个更进一步的问题：大脑连接结构背后存在着一个一般性的原则或者规律吗？自伟大的神经心理学家Donald O. Hebb以来，就有观点认为皮层网络的学习，特别是突触层面的学习，直接影响了神经网络的结构。

神经科学领域有一句广泛传播的名言，“fire together， wire together (一起兴奋，一起连接)”， 就是描述了突触学习可塑性与细胞之间连接的定性关系。神经系统可能就是通过修改突触连接强度，从而将长时程联想式记忆存储于神经网络的连接结构之中。

联想式记忆可以简单的理解为神经网络所学会的特定输入与特定输出的匹配关系，因而，如果给定一个神经网络刺激模式A，神经网络会输出B将A联想在一起。不同的皮层网络，它们的区别可能只是联想式记忆的具体形式不同而已。

如果B等于A，这种记忆称之为为吸引子，它可能存在于前额叶皮层（prefrontal cortex）；如果B对应于神经元群体的时空活动模式，这种联想式记忆可能存在于运动皮层或者躯体感觉皮层。

几十年来，很多从事神经网络研究的科学家在计算模型上对这一问题上做了很多有益的探索，比如二十世纪五十年代Rosenblatt的感知机模型，1982年Hopfield的Hopfield 模型，以及后来的联想学习模型 [2-6]。然而，突触学习在多大程度上影响或者决定了皮层网络的结构，还不得知。

4. 联想学习模型可以解释皮层神经网络结构和动力学特征

皮层网络中每一个神经细胞接收来自其它成千上万个细胞的电脉冲（spikes）输入，其中一些刺激模式被细胞存储下来形成长时程的联想记忆。在成年的动物皮层网络中，其所存储的联想式记忆可能已经达到了一个稳定状态。在这一稳态下，神经网络的结构特征在统计上相对稳定，新的记忆的形成必须伴随着旧的记忆的丢失。

基于此猜想，我们考虑了一个回归连接的联想学习网络模型（recurrent network）(右上图)以模拟一个局域的皮层功能柱神经网络（左上图），其厚度约2mm，半径在几百个微米左右。在这个局域网络中，由于细胞稠密的树突和轴突三维投射结构，任何两个兴奋性细胞或者抑制性细胞在几百个微米范围内都能建立功能上的突触连接，我们称之为潜在连接（potential connection）。

通过将不同数量的或不同类型的联想记忆（左下图）装入回归连接网络，我们对比了联想学习网络的结构和动力学特征与实验上所观察到的结构和动力学特征。实验发现，在网络的一个特定参数范围内（右下图），联想学习网络其15个结构和动力学特征与我们收集到的描述皮层神经网络结构和动力学的特征相匹配。

这些特征包括：兴奋性和抑制性连接概率，兴奋性和抑制性突触连接强度的分布，两个细胞双向连接的过表达程度，三个细胞中特定motif连接结构的过表达程度，3-8个细胞中突触连接个数的分布，单细胞的不规则性放电行为（irregular），细胞群体非同步放电行为（asynchronous）以及单细胞兴奋性和抑制性电流的相关系数。

应用Gardner发明的统计物理学方法 replica method，我们从理论上严格的推算出联想学习网络结构特征跟模型中相关参数的定量关系。同时，我们也提出了两种数值的学习算法，分别为convex optimization 和modified perceptron learning rule，证实了联想学习模型理论计算的准确性以及数值计算的可实现性。

5. 展望

我们所对比的实验数据来自于哺乳动物感觉皮层和与高级认知任务相关的联想皮层（association cortex），证明了一般意义上联想学习模型可以解释实验上所观测到的描述皮层神经网络的结构特征和动力学特征，因此，皮层神经网络的结构可能仅仅只是联想学习的结果。对于一个特定的皮层区域网络结构，我们的模型是否能定量的解释其具体的结构特征，还有待今后进一步的工作。

最后，我们要指出的是，标题中所说的“理论”还不是真正的理论，还有待实验上和模型上的进一步大量工作，路漫漫其修远兮。我们只是随大流用“理论”来夸张一下，以吸引读者的注意。发现现象背后的规律是我们追求的方向，也许，大脑可能没有一个theory of everything， 但是肯定存在models of many things，我们坚信。

6. 参考文献

1. Zhang, Danke, Chi Zhang, and Armen Stepanyants. "Robust associative learning is sufficient to explain the structural and dynamical properties of local cortical circuits." Journal of Neuroscience (2019): 3218-18
2. Gardner, E. (1988). The space of interactions in neural network models. J. Phys. A Math. Gen. 21, 257–270. doi: 10.1088/0305-4470/21/1/030
3. Brunel, N., Hakim, V., Isope, P., Nadal, J. P., and Barbour, B. (2004). Optimal information storage and the distribution of synaptic weights: perceptron versus Purkinje cell. Neuron 43, 745–757. doi: 10.1016/j.neuron.2004.08.023
4. Chapeton, J., Fares, T., Lasota, D., and Stepanyants, A. (2012). Efficient associative memory storage in cortical circuits of inhibitory and excitatory neurons. Proc. Natl. Acad. Sci. U.S.A. 109, E3614–E3622. doi: 10.1073/pnas.1211467109
5. Rosenblatt, F. (1958). The perceptron: a probabilistic model for information storage and organization in the brain. Psychol. Rev. 65, 386–408. doi: 10.1037/h0042519
6. Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. U.S.A. 79, 2554–2558. doi: 10.1073/pnas.79.8.2554

科技评论文章链接：皮层网络结构的联想学习“理论”