Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher

简单回忆版

两个老师，一个学生，知识蒸馏。好老师：原始模型，坏老师：随机初始化的模型。
提出了一种新的Unlearning衡量标准：Zero Retrain Forgetting Metric。ZRF得分在0到1之间。如果模型对于遗忘样本的预测是完全随机的，那么分数将接近1，如果模型显示出一些特定的模式，那么分数将接近0。

主要贡献

• 提出了一个2教师-1学生框架。包括好老师和坏老师，选择性地将知识转移给学生。
• single-class、multiple class 、random-subset forgetting都支持
• 提出了一种新的不用retrain模型的unlearning评价指标，称为零再训练遗忘(zero retraining forgetting, ZRF)指标，用于评价unlearning方法。
• 本方法适用于不同形态的DNN，如CNN、Transformer、LSTM。

• Model

  好老师就是原始模型，坏老师是一个随机初始化的模型。
  下面是目标方程：
  
  其中，Ts表示好老师，Td表示坏老师，Lu是一个新的标签，表示当前样本是否为unlearning样本，KL为KL散度。
  
  这种方法会导致学生对于遗忘数据集的知识是随机的，也就是会进行随机分类，而不是完全使它们的准确率置为0，这可以防止遗忘样本的信息暴露的风险。

  Zero Retrain Forgetting Metric

  这部分没看懂过程。
  这种评价指标不用retrain模型（因为我们常常把retrain的模型作为一个baseline，看我们的模型是否接近retrain模型的准确率）。
  ZRF得分在0到1之间。如果模型对于遗忘样本的预测是完全随机的，那么分数将接近1，如果模型显示出一些特定的模式，那么分数将接近0。
  举个例子：我们要删除波音飞机这个类。当模型几乎总是将波音飞机分类为动物或其他完全不同的类别时，ZRF得分将为0。如果模型总是以相同的随机概率对波音飞机的所有类别进行分类，则ZRF将为1。
  前一个结果值得怀疑的。其他的飞机不会被如此错误地分类。这意味着它根本没有删除波音飞机的信息。信息仍然存在，模型现在利用它故意对遗忘集做出错误判断。
  这两个结果(0或1)都不是理想的结果。我们期望未学习的模型具有类似于在没有波音飞机的情况下训练的模型的泛化性能。