Causal Estimation of Memorisation Profiles（记忆概况的因果评估）ACL最佳论文
paper:Causal Estimation of Memorisation Profiles (ACL最佳论文奖)
论文概况
论文目的
该论文提出了一种在模型训练过程中量化学习记忆的方法，能够直观的看出模型在不同的step阶段学到了多少知识，从而评估模型不同阶段的记忆情况
论文动机
希望能量化评测模型在训练中的记忆情况，在不同的训练阶段记住了多少的知识
论文贡献
-
发现记忆在更大的模型中更加深刻
-
记忆受数据排列顺序和学习率影响
-
在不同的模型大小中有稳定的趋势，因此可以从小模型中预测大模型的记忆
Method
前置知识
双重差分
基于计量经济学中的“Difference-in-differences” (DiD，双重差分)，设计了一套评估模型记忆的体系
在计量经济学中，DiD设计关注四个关键数据点：
- 处理组在政策实施前的情况。
- 处理组在政策实施后的情况。
- 对照组在政策实施前的情况。
- 对照组在政策实施后的情况。
通过计算这四个数据点的差异，DiD方法试图减少其他未观测因素的干扰，更准确地估计政策本身的效果。
计算公式:
( 处理组后 − 处理组前 ) − ( 对照组后 − 对照组前 ) (处理组后 - 处理组前) - (对照组后 - 对照组前) (处理组后−处理组前)−(对照组后−对照组前)
个体治疗效果
τ x , c def ≡ Y c ( x ; g ) ⏟ performance on x when trained with x − Y c ( x ; ∞ ) ⏟ performance on x when not trained with x \tau_{x,c}^{\text{def}} \equiv \underbrace{Y_c(x; g)}_{\text{performance on } x \text{ when trained with } x} - \underbrace{Y_c(x; \infty)}_{\text{performance on } x \text{ when not trained with } x} τx,cdef≡performance on x when trained with x Yc(x;g)−performance on x when not trained with x Yc(x
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
