24、因果域泛化：数据增强与因果表示方法

因果域泛化：数据增强与因果表示方法

1. 反事实特征的数据增强

在机器学习中，为了让模型更好地泛化，常采用将输入分解为因果和非因果特征的方法。这个过程迫使模型依靠目标的特征来关联相应的标签。例如，在提高人体姿态检测的泛化能力时，有人借助基于生成对抗网络（GAN）的架构，从真实姿态和随机噪声中学习反事实的分布。同时，使用特征提取编码器获取输入图像的观测特征表示分布。最后，将反事实和观测表示输入到预测器中，以确保高预测能力。预测器会借助 $l_1$ 距离来最小化观测和反事实表示之间的距离。

整体的目标函数如下：
$$
\min_{\theta_f, \theta_h} \mathbb{E} {(x,y,u) \sim (p(x),p(y),p(u))} \left[ \mathcal{L}_F (h(f(x)), y) + \lambda_1 \mathcal{L} {CF} (h(g(u, y)), y) + \lambda_2 \mathcal{L} {dist} (f(x), g(u, y)) \right]
$$
其中，$\mathcal{L}_F$ 和 $\mathcal{L} {CF}$ 分别表示观测和反事实表示的预测损失，$f$ 和 $g$ 表示表示层，$\lambda_1$ 和 $\lambda_2$ 是超参数。

2. 基于梯度的数据增强

基于梯度的数据增强是另一种用于域泛化的数据增强技术。它通过对原始数据点施加小的扰动，并利用机器学习模型的梯度来引导这些扰动，从而人为地增加数据集的大小。具体操作步骤如下：
1. 在数据集上训练一个机器学习模型。