与其他方法区别
- Muti-task Learning
每个任务的训练资料都需要囊括,且要训练每一个任务,对存储和计算资源的严峻挑战,可作为LLL的upper bound - Transfer Learning
从任务A transfer 到任务B ,只要求在任务B上表现号即可,LLL要求在A、B上的表现都好
Evaluation
学了新的不忘旧
- Constraint-based
加一个带守卫(系数)的正则化项,使得改变不同参数对Loss影响不同 EWC守卫=系数的二次微分(变化率)
- Generated-based
训练另一个网络生成前向任务的训练图片->Muti task learning
新旧知识互相辅助
GEM:约束梯度更新方向有利于过去任务
unfair 使用过去任务的data了
模型不够用咋扩张
- 接收过去任务的输出,network滚雪球
- 加宽网络(+noise),有点像反向的dropout
待解决问题:
训练顺序?