稳定学习
稳定学习的目标如下，模型应用到不同的数据分布下的时候，都有着可靠的性能且性能间的方差较小
给出因果关系的定义，假设存在下图的因果图，在控制住除变量 T 之外所有其它的变量 X不变的条件下，对 T 施加一定的影响，如果 Y 会随着 T 的变化而变化，则称 T 对 Y 有因果效应
在计算过程中，论文使用了直接混淆变量平衡（directly confounder balancing）的方法，以上图为例，将数据划分为 T=0 和 T=1 的两组后，对两组数据的样本进行加权，使得这两组数据加权后的 X 分布一致，当 T 和 X 独立之后，度量 T 与 Y 之间的关联性等价于计算 T 与 Y 之间的因果效应。在实际的机器学习问题中，度量的是一组输入变量，稳定学习试图学习一组全局样本权重，通过样本加权的方式使所有的输入变量之间都相互独立，从而利用现有的基于关联的模型实现基于因果的预测，之后有一系列论文从离散/连续、线性/非线性等不同角度解决变量间去相关的问题。
Causally Regularized Learning with Agnostic Data Selection Bias. ACM Multimedia, 2018.
为了简化起见，假设变量都是离散的二元变量。对于输入样本的某一维特征，将其作为干预变量T，然后将其余的特征作为需要控制的 X，计算加权后实验组和对照组的样本矩的差的二范数，将各个二范数加起来，就得到所需要的正则项。其中 W ∈ R n × 1 W\in R^{n \times1} W∈Rn×1， X − j X_{-j} X−j这一步是将输入X的第j列置为0， I j ∈ R n × 1 I_j\in R^{n \times1} Ij∈Rn×1是将第j个特征为1的样本设为1，否则设为0。因此上式的前半部分计算第j个特征为1时对应样本其他变量的W加权平均值，后半部分计算第j个特征为0时对应样本其他变量的W加权平均值。
Stable Prediction with Model Misspecification and Agnostic Distribution Shift. AAAI, 2020.
这篇论文是把稳定学习推广到了连续变量情况下
假设两个变量是不相关的，则它们乘积的期望等于期望的乘积，样本加权矩阵 W ∈ R n × 1 W\in R^{n \times1} W∈Rn×1满足下式
假设
，则可将去相关loss改写成
Deep Stable Learning for Out-Of-Distribution Generalization.CVPR,2021
之前的去相关方法只能去除线性相关，为了去除非线性相关，论文使用随机傅立叶特征将原始特征映射到高维空间，再消除新特征间的线性相关
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
