深度人工神经网络模拟单个皮层神经元6

重点

1.皮层神经元很好地近似于一个深度神经元具有5-8 层的网络 (DNN)

2.DNN 的深度来自于 NMDA 之间的交互受体和树突形态

3.树突分支可以概念化为一组时空模式检测器

4.提供了一种统一的方法来评估计算任何神经元类型的复杂性

简要总结

利用机器学习的最新进展，我们引入了一种系统方法来表征神经元的输入/输出 (I/O) 映射复杂性。训练深度神经网络 (DNN) 以在毫秒（尖峰）分辨率下忠实地复制皮层神经元的各种生物物理模型的 I/O 功能。需要一个具有五到八层的时间卷积 DNN 来捕获第 5 层皮质锥体细胞 (L5PC) 的真实模型的 I/O 映射。当在训练分布范围之外广泛呈现输入时，该 DNN 可以很好地泛化。当 NMDA 受体被移除时，一个更简单的网络（具有一个隐藏层的完全连接的神经网络）足以拟合模型。对 DNN 的权重矩阵的分析表明，树突分支中的突触整合可以概念化为来自一组时空模板的模式匹配。这项研究提供了单个神经元计算复杂性的统一表征，并表明皮层网络因此具有独特的架构，可能支持其计算能力。

第六节 讨论

DNN 领域的最新进展首次提供了一个强大的通用工具，可以从示例中学习复杂的映射。在这项研究中，我们使用这些工具以毫秒时间分辨率研究单个复杂非线性神经元的 I/Omappings。我们通过模拟 L5PC 的神经元模型在其树突表面上接收丰富的突触输入库并记录其峰值输出毫秒时间分辨率以及其体细胞亚阈值，构建了一个包含（突触）输入和（轴突）输出示例的大型数据集膜电位。然后，我们在这些 I/O 对上训练各种配置的网络，直到我们获得性能接近神经元详细模拟的模拟“深度”网络。我们将这个框架应用于一系列具有不同形态电复杂性的神经元模型，并获得了关于皮层神经元计算复杂性的新见解。对于简单的 I&F 神经元模型，我们的框架提供了一个简单的模拟 DNN，其中一个隐藏层由一个隐藏单元组成捕获模型的完整 I/O 关系。各个 DNN 过滤器提供了关键的生物物理见解，这与我们对塑造 I&F 模型的 I/O 关系的参数的理解一致（图 1）。

在仅对由 NMDA 突触组成的皮层神经元的单个基底树突分支进行建模的情况下，需要仅具有几个单元的浅层（一个隐藏层）DNN 来捕获突触输入的时空整合的不同方面（图 5 ）。令人惊讶的是，即使是 L5 皮质锥体神经元模型，其树突树和大量树突电压依赖性电流和基于 AMPA 的突触也被具有单个隐藏层的相对简单的网络很好地捕获（图 3）。然而，在由基于 NMDA 的突触组成的 L5 锥体神经元的完整模型中，类似 DNN 的复杂性显着增加；当使用具有 5 到 8 个隐藏层的 TCN 时，我们发现该模型单元的 I/O 非常适合（图 2 和 4；另请参见图 S2 和 S3）。

此外，在随机输入上训练的 L5PC 的七层类似 DNN 成功地推广到新的分布外集群和同步输入集（图 6）。这些结果表明，具有非线性突触输入的单个皮层神经元已经在它自己的，一个复杂的计算单元。因此，由这些单元构建的皮层网络比仅仅基于它们的解剖（突触前到突触后）连接看起来更深，计算更强大。重要的是，使用 DNN 实现单个神经元的 I/O 功能也提供了实用的优势。它在计算上比传统的隔室模型要高效得多，传统的隔室模型需要对每个神经元求解数千个偏微分方程 (PDE)。事实上，对于 L5PC 的完整模型，当使用 DNN 而不是其隔室模型对应物时，我们获得了 2,0003 的加速。然而，我们没有对我们的 DNN 方法对不同神经元模型、不同输入条件或不同硬件或软件版本的计算优势进行全面的经验或理论比较，因为这超出了本研究的范围。

一般来说，我们的方法的计算加速来自 (1) 压缩/简化（通过 DNN 的计算节点和层）在单元中执行的所有树突计算，只保留与输出尖峰生成相关的计算； (2) 利用为深度学习社区日益增长的需求而不断开发的专用图形处理单元 (GPU) 硬件和相应的软件生态系统。总之，我们的工具可能对模拟大规模现实神经元网络有用（Egger 等人，2014；Markram 等人，2015）。此外，给定神经元的相应 DNN 的大小可以用作（在某些假设下 [见下文]）作为其计算能力的指标；它越大，这个神经元可以执行的计算就越复杂。这样的指数将能够系统比较不同的神经元类型（例如，CA1 锥体细胞、皮质锥体细胞和浦肯野细胞）或不同物种中的相同类型的细胞（例如，小鼠与人类皮质锥体细胞）。强调出于优化的原因，上述类似 DNN 的复杂度是各个单个神经元的 I/O 的真实计算复杂度的上限，即可能存在一个较小的 DNN，它以相似程度模拟生物物理神经元准确性，但我们使用的训练过程没有找到它。此外，我们注意到我们将架构搜索空间仅限于 FCN 和 TCN 神经网络架构。

对于任何期望的预测准确度，额外的架构搜索可能会产生更简单和更紧凑的模型。尽管如此，我们强调，与详细的生物物理模拟相比，这个上限实际上在计算上要少几个数量级。此外，图 1 中显示的结果清楚地表明，如果皮质神经元的 I/O 转换实际上更简单，我们提出的方法将能够揭示简单的 I/O 关系。这表明我们发现的 DNN 大小可能是一个相对严格的上限。为了促进科学界的这种搜索，我们发布了我们的大型现成数据集，该数据集模拟了一个完全复杂的单个 L5 皮质神经元的模拟输入和输出，采用了类似体内的机制，以便社区可以专注于对这一努力的各个方面进行建模并避免自己重新运行模拟。DNN 的分析是一项具有挑战性的任务，也是一个快速发展的领域（Mahendran 和 Vedaldi，2015；Mordvintsev 等，2015；Olahet 等，2017）。

然而，观察各个 DNN 第一层中的单元（过滤器）的权重矩阵很简单，并且可以提供关于神经元的 I/O 转换的大量见解。完整的网络可以解释为由一组基本的过滤器组成，这些过滤器跨越了突触输入的可能时空模式的空间，这些模式将驱动原始神经元尖峰。第一层定义了这个空间，网络的其余部分在该空间内混合和匹配空间。例如，如图 3 所示，在没有 NMDA 突触的锥体神经元的情况下，大多数过滤器仅对基底和顶端倾斜输入具有显着的权重，而为顶端簇突触赋予的权重可以忽略不计（尽管存在电压依赖性该模型中的 Ca2+ 和其他非线性电流，导致远端树突簇中偶尔出现 Ca2+ 尖峰）。当模型中包含 NMDA 突触时，情况根本不同。在这种情况下，分配给顶端树突突触的权重是显着的（图 2；另请参见图 S6）。此外，用于这些顶端输入的过滤器往往具有比近端突触更宽（在时间上）的时间结构，这表明输入到顶端突触的时间精度对于躯体中的尖峰产生不太重要。

这些是可以通过观察得到的类似 DNN 的第一层过滤器得出的基本见解。这项工作为未来的研究开辟了多个额外的途径。一个重要的方向是以类似于此处对基于 NMDA 的受体执行的方式分离特定机制对神经元计算能力的贡献（也参见图 S2）。在操纵特定的电压依赖性树突电流（例如，电压门控钙通道 [VGCC]、电压门控钾 [Kv] 通道或超极化激活的环核苷酸门控 [HCN] 通道）的同时拟合 DNN，将提供更深入的理解它们对整体突触整合过程和各自 DNN 的复杂性的贡献。另一个有趣的方向是利用这项工作来探索真实神经元如何使用其丰富的生物物理库来执行由等效 DNN 计算的类的特定计算。通过利用梯度下降优化和专门的 GPU 硬件加速，可以有效地训练表示神经元的 DNN 以计算有趣、有意义的函数（例如，训练它对手写数字的图像进行分类或对听觉声音序列进行分类）。然后它或许可以将此 DNN 映射回原始的生物物理神经元模型。

然后，人们既可以直接验证单个神经元可以执行复杂且有用的计算任务的假设，也可以研究这些神经元和突触的特定时空分布如何实际执行这些任务。如果确实一个皮层神经元相当于一个多层 DNN，那么对皮层微电路？那个电路仅仅是由简单的“点神经元”组成的更深层次的经典 DNN 吗？经典 DNN 和由深层神经元组成的皮层回路之间的一个关键区别在于，在后一种情况下，突触可塑性主要发生在单个皮层神经元的类似 DNN 的突触（输入）层中，而其隐藏的权重层是固定的（并且专用于表示单个皮层神经元的 I/O 功能）。

然而，重要的是要注意，神经元中还有其他形式的（非突触）可塑性，例如分支特异性可塑性或内在可塑性（Losonczy 等，2008），它们也许可以塑造神经元深层的权重。除了突触功效外，还有类似的 DNN。结合不同类型的皮层神经元之间的无数循环连接和网络基序（Markram 等人，2015），我们在此提出了一种具体的、受生物学启发的皮层网络网络架构，该网络架构无缝地结合了单神经元的复杂性。 （Richards 等人，2019 年）最近提倡将架构作为研究的关键要素。事实上，寻找合适的人工神经网络架构是当今机器学习最有价值的途径之一（He et al., 2015; Lin et al., 2014; Vaswani et al., 2017），并研究建议的具体架构在本研究中，可能会解开隐藏在皮层微电路中的一些感应偏差，并将其用于未来的人工智能 (AI) 应用。