EWC学习
Elastic Weight Consolidation(EWC):基于正则化的模型长期学习方法。
基础思想: EWC把原模型中的参数用正则化保护。
分为两个模型:原模型和EWC模型。
原模型保持原来的情况。
EWC模型:
定义重要度(矩阵)precision_metrices:有多种方式,比如计算参数对损失函数的一阶导数
在基础的损失函数上新增正则化项,每个参数受到自己在上一个任务训练完毕之后最后的参数值的约束。也就是每次梯度下降更新参数后,在上面做一个L2惩罚。
separate 和online的区别:
separate的ewc模型每次只接收上一个模型的惩罚项的参数,所以重要度矩阵是仅仅根据上一个模型得出来的,和本次传入的数据集的模型进行整合。online把所有的惩罚项的系数全都加到惩罚项中,也就是重要度矩阵是根据之前所有的模型得出来的,和本次传入的数据集的模型进行整合。在进行后续模型的训练时,需要固定住中间的部分层数,固定模型。
def set_freeze_by_names(model, layer_names, freeze=True):
if not isinstance(layer_names, Iterable):
layer_names = [layer_names]
for name, child in model.named_children():
if name not in layer_names:
continue
for param in child.parameters():
param.requires_grad = not freeze
separate实现步骤:
1 用第一个数据集data_1训练初始模型model_1
2 拿到model_1的参数,在model_1的数据集上,用梯度的平方作为重要度。用第二个数据集data_2
for n, p in model.named_parameters() :
if p.requires_grad:
precision_matrices[n].data += p.grad.data ** 2 / len(previous_loader)
3 在model_2的数据集上,额外计算ewc的l2 loss。在当前loss 上,加上l2 loss。
ce_loss = loss_func(outputs, labels)
total_loss = ce_loss
# 额外计算EWC的L2 loss
ewc_loss = 0
for n, p in model.named_parameters():
if p.requires_grad:
_loss = precision_matrices[n] * (p - _means[n]) ** 2
ewc_loss += _loss.sum()
total_loss += lambda_ewc * ewc_loss