本文探讨了dropout如何作为隐式门控机制，促进深度学习网络在持续学习中的稳定性，防止遗忘。研究表明，dropout通过神经元的稀疏编码和正则化作用，使网络形成任务特定的激活模式，类似于门控，从而在处理新任务时保留旧任务的知识。
Dropout as an Implicit Gating Mechanism For Continual Learning
来自CVPR2020 workshop，Deepmind和华盛顿州立大学。搜了下发现此外还有三个华盛顿大学，这是综合排名最低的一个...
早有研究发现，dropout后的网络，在类增量学习中，会遗忘地慢一些，然而对此并没有清晰的解释。本文研究了dropout和遗忘的关系，认为dropout相当于一个隐式的门机制，会给网络带来稳定性，这就是防止遗忘的关键。
用门机制来做CL的研究之前也有一些，本文认为CL的问题同稳定性-塑性困境（stability-plasticity dilemma）有很强关联，这个原是生物神经研究的术语。
Table of Contents
Dropout as an Implicit Gating Mechanism For Continual Learning
3.Dropout and Network Stability
1.Introduction
•
问题：
Continual Learning
，序列任务学习，学了新的会忘掉旧的，远达不到多任务学习的上限。
•
motivation
：
dropout 后的网络，会遗忘地更慢；没 dropout 的网络，学习更快 ；
生物智能的稳定性 - 可塑性问题（ stability-plasticity dilemma
dropout 后的网络，会遗忘地更慢；没 dropout 的网络，学习更快 ；
生物智能的稳定性 - 可塑性问题（ stability-plasticity dilemma
最低0.47元/天 解锁文章
2473
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
