【连续学习之CH-HNN算法】2025Nature期刊Hybrid Neural Networks for Continual Learning Inspired by

1 介绍

年份：2025

期刊： Nature

Shi Q, Liu F, Li H, et al. Hybrid neural networks for continual learning inspired by corticohippocampal circuits[J]. Nature Communications, 2025, 16(1): 1272.

本文提出了一种受大脑皮层-海马回路启发的混合神经网络（CH-HNN），通过结合人工神经网络（ANN）和脉冲神经网络（SNN），模拟大脑中特定记忆和泛化记忆的双重表征机制，有效缓解了持续学习中的灾难性遗忘问题，并展示了在动态环境中的适应性和低能耗潜力。

CH-HNN算法通过模拟大脑皮层-海马回路的双重表征机制，利用人工神经网络（ANN）提取泛化规律并生成调制信号，指导脉冲神经网络（SNN）学习特定记忆，同时引入元可塑性机制调节学习速率，从而实现高效的持续学习和知识整合。

2 创新点

1. 受大脑皮层-海马回路启发的混合神经网络架构：
   提出了一种基于皮层-海马回路（corticohippocampal circuits）的混合神经网络（CH-HNN），结合人工神经网络（ANN）和脉冲神经网络（SNN），模拟大脑中特定记忆和泛化记忆的双重表征机制，有效缓解了持续学习中的灾难性遗忘问题。
2. 任务无关的持续学习方法：
   CH-HNN作为一种任务无关（task-agnostic）的系统，无需在推理过程中明确识别任务，显著降低了存储需求，提升了在动态环境中的适用性和鲁棒性。
3. 结合元可塑性机制：
   引入元可塑性（metaplasticity）机制，模拟大脑中突触学习能力的动态变化，通过调节突触权重的变化速率，平衡新知识的学习和旧知识的保留，进一步优化了持续学习的性能。
4. ANN与SNN的协同作用：
   利用ANN处理高空间复杂性任务，生成与任务相关的调制信号，指导SNN进行新概念的学习。这种协同设计不仅提高了资源利用效率，还减少了不同任务之间的干扰。
5. 反馈环路的验证与功能探索：
   通过实验验证了从海马体到皮层的反馈环路在促进新概念学习中的作用，揭示了反馈环路在传递新嵌入信息以促进泛化中的重要性。
6. 低功耗与硬件友好性：
   结合SNN的低功耗特性，CH-HNN在持续学习过程中表现出显著的能耗优势，适合在类脑硬件（如“天机”芯片）上部署，为未来智能系统提供了新的实现路径。
7. 跨数据集的知识迁移能力：
   通过在不同数据集上验证，展示了CH-HNN能够将从一个数据集学到的知识迁移到另一个数据集，进一步证明了其泛化能力和适应性。
8. 真实世界应用的验证：
   在机器人视觉任务（如手势识别和物体抓取）中验证了CH-HNN的性能，证明了其在真实世界复杂环境中的适用性和鲁棒性。

3 理论和机制

3.1 理论

1. 理论背景：大脑皮层-海马回路的双重表征机制
   文章指出，生物系统在持续学习中表现出高效性和低能耗，尤其是在处理顺序数据时，能够避免灾难性遗忘。这种能力的关键在于大脑皮层和海马体之间的协同工作机制。具体来说：
   海马体（Hippocampus）：负责编码和存储特定的、与事件相关的记忆，例如海马体的齿状回（DG）和CA3区域。
   皮层（Cortex）：负责泛化和整合知识，提取跨事件的规律性，例如内侧前额叶皮层（mPFC）和CA1区域。
   皮层-海马回路：通过前馈和反馈环路，皮层和海马体相互作用，促进新概念的学习和泛化。
   这种双重表征机制为持续学习提供了生物学上的启发，CH-HNN正是基于这一机制设计的。
2. CH-HNN的混合神经网络架构
   CH-HNN结合了人工神经网络（ANN）和脉冲神经网络（SNN），模拟大脑中特定记忆和泛化记忆的双重表征：
   人工神经网络（ANN）：模拟皮层的功能，负责提取输入数据中的规律性，并生成调制信号，用于指导SNN的学习。ANN通过学习不同任务或类别的相似性，生成与任务相关的调制信号，从而实现对新概念的快速学习。
   脉冲神经网络（SNN）：模拟海马体的功能，负责编码特定的事件记忆。SNN具有稀疏的脉冲发放率和低功耗特性，适合增量学习新概念，同时减少对旧知识的干扰。
3. 元可塑性机制（Metaplasticity Mechanism）
   文章引入了元可塑性机制，模拟大脑中突触学习能力的动态变化。元可塑性允许突触根据其当前状态调整学习速率，从而在积累知识时平衡新旧知识的保留和学习。具体来说：
   突触权重的变化：随着突触权重的增加，学习速率逐渐降低，从而减少对旧知识的遗忘。
   化学神经调制信号：受大脑中多巴胺和血清素等神经调制信号的启发，CH-HNN通过元可塑性机制调节突触的可塑性，增强模型的稳定性和适应性。
4. CH-HNN的工作机制
   CH-HNN通过以下机制实现高效的持续学习：
   前馈环路（Feedforward Loop）：ANN生成的调制信号通过前馈环路传递给SNN，指导其学习特定的事件记忆。这种机制类似于大脑中从皮层到海马体的信息传递，帮助SNN快速适应新任务。
   反馈环路（Feedback Loop）：SNN学习到的新概念通过反馈环路传递回ANN，增强其对事件相关规律性的编码。这种机制类似于大脑中从海马体到皮层的信息传递，促进泛化和知识整合。
   任务无关性（Task-Agnostic）：CH-HNN无需明确的任务标识符（task ID），能够自动从输入数据中推断任务相关性，从而适应动态环境中的增量学习需求。

3.2 算法步骤

3.2.1 ANN的训练（生成调制信号）

ANN的作用是从输入数据中提取与任务或类别相关的规律性，并生成调制信号，用于指导SNN的学习。其训练过程如下：

输入：

• 数据集$D$（包含不同任务或类别的样本）。
• 相似性函数$sim(x,\tilde{x})$，用于计算样本之间的相似性。
• 调制信号的稀疏性参数$\rho$和平衡系数$\beta$。
• 学习率$\eta$和批量大小$B$。

算法步骤：

1. 初始化参数：初始化ANN的权重${\theta }_A$。
2. 迭代训练：
   • 对于每个训练迭代$i$：
     • 初始化梯度$\Delta {\theta }_A=0$。
     • 从数据集$D$中随机采样两个样本$x$和$\tilde{x}$。
     • 使用ANN计算调制信号$R=A(x;{\theta }_A)$和$\tilde{R}=A(\tilde{x};{\theta }_A)$。
     • 计算损失函数：

$$\mathcal{L}=\sum _{k=1}^n{\left|\frac{R_k\cdot {\tilde{R}}_k}{\Vert R_k\Vert \Vert {\tilde{R}}_k\Vert }-sim(x,\tilde{x})\right|}^p+\lambda \left|\Vert R_k\Vert -\rho c\right|$$

其中，第一项约束调制信号的相似性与输入样本的相似性一致，第二项约束调制信号的稀疏性。

• 更新梯度$\Delta {\theta }_A=\Delta {\theta }_A+{\nabla }_{{\theta }_A}\mathcal{L}$。
• 在每个批次结束后更新参数：

$${\theta }_A={\theta }_A-\eta \frac{\Delta {\theta }_A}{B}$$

3. 输出：训练好的ANN模型，用于生成调制信号。

---

3.2.2 SNN的训练（增量学习新概念）

SNN在ANN生成的调制信号的指导下学习新任务或类别，并通过元可塑性机制调节学习过程。其训练过程如下：

输入：

• 数据集$D$（包含不同任务或类别的样本）。
• ANN生成的调制信号$R$。
• 元可塑性参数$m$和学习率$\delta$。
• SNN的神经元模型（如EIF、LIF或IF）。

算法步骤：

1. 初始化参数：初始化SNN的权重$W_h$和批量归一化参数${\theta }_{BN}$。
2. 前向传播：
   • 对于每个输入样本$x$，使用ANN生成调制信号$R=A(x;{\theta }_A)$。
   • 将调制信号$R$作为掩码，选择性激活SNN的隐藏层神经元：

$$\hat{y}=\text{Forward}(S(x;{\theta }_S)\ast R,W_h,{\theta }_{BN})$$

3. 计算损失：
   • 使用交叉熵损失函数计算预测值$\hat{y}$和真实标签$y$之间的损失：

$$\mathcal{L}=\text{CE}(\hat{y},y)$$

4. 反向传播与权重更新：
   • 对于每个权重$W_l$，应用元可塑性机制更新权重：

$$W_l=W_l-\delta \cdot f(m,W_l)\cdot \frac{\partial \mathcal{L}}{\partial W_l}$$

其中，$f(m,W_l)=e^{-m|W_l|}$是元可塑性函数，用于调节学习速率。

• 更新批量归一化参数${\theta }_{BN}$。

5. 输出：训练好的SNN模型，用于增量学习新概念。

3.2.3 持续学习过程

在持续学习中，ANN和SNN的训练交替进行：

1. 使用ANN生成调制信号，指导SNN学习当前任务或类别。
2. 随着新任务或类别的到来，ANN和SNN分别更新其权重，同时通过元可塑性机制保持对旧知识的记忆。
3. 在整个学习过程中，ANN和SNN通过前馈和反馈环路相互协作，实现高效的持续学习。

4 思考

（1） ANN和SNN在CH-HNN中如何协同工作以实现持续学习？

• 前馈环路：ANN负责处理输入数据，提取跨情景的规律性信息，并生成调制信号。这些调制信号作为掩码，选择性地激活SNN中的神经元，指导SNN学习特定的情景记忆。这种机制允许SNN在不同任务或类别之间自动分区，减少干扰并提高学习效率。
• 反馈环路：SNN学习到的新情景记忆通过反馈通路传递回ANN，增强其对情景相关规律性的编码。这种反馈机制促进了泛化能力，使ANN能够更好地指导后续的SNN学习。
• 协同作用：通过这种方式，ANN和SNN实现了从泛化规律到特定记忆的双向信息传递，有效缓解了灾难性遗忘问题，同时保持了模型对新知识的适应性。

（2）SNN学习到的新情景记忆通过反馈通路传递回ANN，如何实现反馈通路传递？

1. SNN学习新情景：SNN在ANN生成的调制信号的指导下，通过其稀疏脉冲发放率学习特定的情景记忆。这些记忆以SNN的权重和神经元活动模式的形式存储。
2. 生成新嵌入：SNN在学习新情景时，会生成新的嵌入（embedding），这些嵌入代表了新学习到的信息。这些嵌入可以通过SNN的输出层（通常是全连接层）进行编码。
3. 反馈通路传递：SNN的输出层将新生成的嵌入通过反馈通路传递回ANN。这个过程可以看作是SNN向ANN提供关于新学习到的情景的信息，以便ANN能够更新其对情景相关规律性的理解。
4. ANN更新规律性：ANN接收到SNN传递的新嵌入后，会根据这些信息更新其权重，从而增强其对情景相关规律性的编码。这种更新可以通过标准的反向传播算法实现，其中损失函数考虑了新嵌入与ANN输出之间的差异。
5. 循环迭代：这个过程在持续学习中循环迭代，使得ANN和SNN能够不断更新和整合新学习到的信息，从而提高模型的泛化能力和适应性。

（3）元可塑性机制在CH-HNN中是如何实现的？它对缓解灾难性遗忘的具体作用是什么？

在SNN和ANN的训练过程中，元可塑性机制通过指数函数 f(m,W)=e−m∣W∣ 调节突触权重的学习速率。随着突触权重 ∣W∣ 的增加，学习速率逐渐降低，从而减少对旧知识的遗忘。缓解灾难性遗忘：元可塑性机制允许突触根据其当前状态动态调整学习能力。较大的突触权重表示存储了较多记忆，学习速率较慢，从而保留旧知识；较小的突触权重表示存储较少记忆，学习速率较快，从而快速适应新知识。这种机制在积累新知识的同时保留旧知识，有效缓解了灾难性遗忘。

（4）CH-HNN如何实现任务无关（task-agnostic）的持续学习？

• 调制信号的作用：ANN生成的调制信号能够自动推断输入数据的任务相关性，而无需明确的任务标识符。这些调制信号根据输入数据的特征动态调整SNN的学习过程，使模型能够适应不同任务或类别的输入。
• 泛化能力：通过提取跨情景的规律性信息，ANN能够生成与任务相关的调制信号，从而指导SNN学习新概念。这种设计使得CH-HNN在没有明确任务标识符的情况下，仍能有效区分不同任务或类别的输入，实现任务无关的持续学习。
• 适用性：任务无关的设计使得CH-HNN更适合动态环境中的持续学习，因为它不需要预先知道任务的边界或顺序，从而提高了模型在真实世界中的适用性。