「弹性权重巩固(EWC/Elastic Weight Consolidation)」。

研究领域是记忆(memory),

特别是如何将神经网络的决策智能和有关复杂结构化数据的存储、推理能力结合起来的难题。」

神经网络的连续学习(Continual Learning),让计算机程序可以不忘记之前学习过的内容并渐进式地学习新内容。

结合了生物学、突触弹性理论,并讨论了突触不仅存储权重还存储这一权重不确定性的理论。

可能将为能被更轻松地应用于多种任务的人工智能系统开启新的道路,

它也应该可以提升人工智能系统在任务之间迁移知识的能力和

掌握一系列互相链接的步骤的能力。

随着一个网络在一项特定任务上的训练的进行,其参数也将逐渐适应此任务的解决。而当引入一个新任务的时候,新的适应过程会改写该网络之前已经获得的知识。这种现象在认知科学领域被称为「灾难性遗忘(catastrophic forgetting)」,这也被认为是神经网络的基本限制之一。

神经科学家已经识别出了

大脑之中的两种巩固(consolidation)方式:

系统巩固(systems consolidation)和

突触巩固(synaptic consolidation)。

系统巩固是指这样一个过程:将我们大脑中的快速学习部分已经获得的记忆印刻到慢速学习的部分。

这种印刻过程被认为是通过有意识或无意识的回忆实现的

而对于第二种机制——突触巩固,

是指如果一些突触连接在之前所学到的任务中是很重要的,那么它们被改写的可能性就更小

在学会一个任务之后,我们计算每个连接对于该任务的重要程度。当我们学习一个新任务时,我们按照连接对旧任务的重要程度,按比例地对连接进行修改保护。

我们可以将我们为每个连接所施加的保护看作是通过一个弹簧链接到之前的保护值,其刚度(stiffness)正比于其连接的重要程度。为此,我们将我们的算法称为「弹性权重巩固(EWC/Elastic Weight Consolidation)」。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东东要拼命

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值