出处:IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS 2024(CCF C期刊、中科院一区)
一 提出动机
1. 挑战:工业数据动态变化,导致:数据分布漂移 (data distribution drift)
Continual learning (lifelong learning):指:学习系统随时间推移,动态更新模型知识库,而不忘记过去重要信息的能力,有效克服灾难性遗忘 (catastrophic forgetting) 的挑战。此外,增量学习方法避免了从零开始建模的高计算成本。
二 Methodology
A. Hint-Based Network Parameter Learning
参数说明:
B. Dual-Buffer Design
动机:“基于提示的网络参数优化” 使用来自缓冲区(Memory Buffer)的样本作为优化新任务的先验约束 →
可能将限制模型习得新任务的能力,特别是:当任务相似(模型可能倾向使用旧任务策略,来处理新任务)或序列很长(缓冲区中累积的样本数量增加)时;
“双缓冲设计” 平衡了:学习新任务的可塑性(Soft Memory Buffer)、记忆旧任务的稳定性(Memory Buffer)
C. Time-Sensitive Activation Function