EWC学习

EWC学习

Elastic Weight Consolidation(EWC)：基于正则化的模型长期学习方法。

基础思想： EWC把原模型中的参数用正则化保护。

分为两个模型：原模型和EWC模型。

原模型保持原来的情况。

EWC模型：

定义重要度（矩阵）precision_metrices：有多种方式，比如计算参数对损失函数的一阶导数

在基础的损失函数上新增正则化项，每个参数受到自己在上一个任务训练完毕之后最后的参数值的约束。也就是每次梯度下降更新参数后，在上面做一个L2惩罚。

separate 和online的区别：

separate的ewc模型每次只接收上一个模型的惩罚项的参数，所以重要度矩阵是仅仅根据上一个模型得出来的，和本次传入的数据集的模型进行整合。online把所有的惩罚项的系数全都加到惩罚项中，也就是重要度矩阵是根据之前所有的模型得出来的，和本次传入的数据集的模型进行整合。在进行后续模型的训练时，需要固定住中间的部分层数，固定模型。

def set_freeze_by_names(model, layer_names, freeze=True):
    if not isinstance(layer_names, Iterable):
        layer_names = [layer_names]
    for name, child in model.named_children():
        if name not in layer_names:
            continue
        for param in child.parameters():
            param.requires_grad = not freeze

separate实现步骤：

1 用第一个数据集data_1训练初始模型model_1

2 拿到model_1的参数，在model_1的数据集上，用梯度的平方作为重要度。用第二个数据集data_2

for n, p in model.named_parameters()  :
    if p.requires_grad:
        precision_matrices[n].data += p.grad.data ** 2 / len(previous_loader)

3 在model_2的数据集上，额外计算ewc的l2 loss。在当前loss 上，加上l2 loss。

ce_loss = loss_func(outputs, labels)
total_loss = ce_loss
# 额外计算EWC的L2 loss
ewc_loss = 0
for n, p in model.named_parameters():
    if p.requires_grad:
        _loss = precision_matrices[n] * (p - _means[n]) ** 2
        ewc_loss += _loss.sum()
total_loss += lambda_ewc * ewc_loss