域泛化与不变性风险最小化

域泛化与不变性风险最小化

论文链接：https://arxiv.org/abs/1907.02893

1. 域泛化

给定源数据集 E s = { e 1 s , ⋯   , e m s } \mathcal{E}^s=\{e_1^s,\cdots,e_m^s\} Es={e1s​,⋯,ems​}，与目标数据集 E t = { e 1 t , ⋯   , e n t } \mathcal{E}^t=\{e_1^t,\cdots,e_n^t\} Et={e1t​,⋯,ent​}，每个$e$代表一个域或者环境。

同一环境下的样本与标签$(X,Y)$服从同一分布；不同环境下的$(X,Y)$服从不同分布，记作

$$\begin{gathered} (X_i^s,Y_i^s)\sim P_i^s(X,Y)i=1,\cdots ,m; \\ (X_j^t,Y_j^t)\sim P_j^t(X,Y)j=1,\cdots ,n;\text{\hspace{1em}(1)} \end{gathered}$$

其中的概率分布$P_i^s(X,Y),P_j^t(X,Y)$各不相同。

域泛化可以理解为：通过学到$P_i^s$中的分布，去尽可能模拟$P_j^t$的分布，思路的可行性是因为不同域中实际上存在公共信息，我们需要去学到这些公共信息

2. 不变性风险最小化

简单来讲，是指在训练集中的所有域下，存在某个风险最小化的共同最优解

我们将整个网络模型表示为：$w\circ \Phi :\mathcal{X}\to \mathcal{Y}$

其中$\Phi :\mathcal{X}\to \mathcal{H}$为数据表示representation，$w:\mathcal{H}\to \mathcal{Y}$为不变性因子invariance

记域或环境$e$中的风险函数为$R^e(w\circ \Phi )$，对于一般的学习模型，经验风险最小化表示为

$$\underset{\Phi ,w}{\min }\sum _{e\in {\mathcal{E}}^s}{R}^e(w\circ \Phi )\text{\hspace{1em}(ERM)}$$

而不变性风险最小化表示为

$$\begin{array}{rl}\underset{\Phi ,w}{\min }& \sum _{e\in {\mathcal{E}}^s}{R}^e(w\circ \Phi )\\ s.t.& w\in \bigcap _{e\in {\mathcal{E}}^s}\arg \underset{w}{\min }{R}^e(w\circ \Phi )\end{array}\text{\hspace{1em}(IRM)}$$

也就是在$(ERM)$的基础上添加了约束条件

但是双优化问题在实际过程中是很难交给计算机处理的，尤其是在数据规模较大的情况下

根据个人理解，考虑到了一个非常通俗的数学知识

可微函数在某区域内的极值点一定是边界点或者驻点

所以第一步是将上述条件放宽为

min ⁡ Φ , w ∑ e ∈ E s R e ( w ∘ Φ ) s . t . w ∈ ⋂ e ∈ E s { w : ∇ w R e ( w ∘ Φ ) = 0 } (2) \begin{aligned} \min_{\Phi,w}\quad&\sum_{e\in\mathcal E^s}R^e(w\circ \Phi)\\ s.t.\quad&w\in\bigcap_{e\in\mathcal E^s}\{w:\nabla_wR^e(w\circ \Phi)=\boldsymbol{0}\} \end{aligned}\tag{2} Φ,wmin​s.t.​e∈Es∑​Re(w∘Φ)w∈e∈Es⋂​{w:∇w​Re(w∘Φ)=0}​(2)

第二步将约束条件换为惩罚项，改为

$$\underset{\Phi ,w}{\min }\sum _{e\in {\mathcal{E}}^s}{R}^e(w\circ \Phi )+\lambda ||{\nabla }_w{R}^e(w\circ \Phi )|{|}^2\text{\hspace{1em}(3)}$$

最后固定$w=1.0$，得到论文中的实用公式

$$\underset{\Phi }{\min }\sum _{e\in {\mathcal{E}}^s}{R}^e(\Phi )+\lambda ||{\nabla }_{w|w=1.0}{R}^e(w\circ \Phi )|{|}^2\text{\hspace{1em}(IRMv1)}$$

实验中也是用的这个公式，在colored_mnist实验中，有代码

def penalty(logits, y):
	scale = torch.tensor(1.).cuda().requires_grad_()
    loss = mean_nll(logits * scale, y)
    grad = autograd.grad(loss, [scale], create_graph=True)[0]
    return torch.sum(grad**2)

原文有对惩罚项的形式做进一步探究（比如损失函数的凸性），讨论了什么时候惩罚项是有效的，满足预期需要

3. 一些思考

• 为什么固定$w=1.0$进行训练？

考虑$(\Phi ,w)\to (\gamma \Phi ,w/\gamma )$，当$\gamma \to 0$即也可能保证惩罚项趋于零，使得惩罚项对$R^e(\Phi )$的约束不起作用

• $w=1.0$是一个人工引入，会不会导致算法错过最优解？

可以将原来的表示改写为

$$w\circ \Phi =(w\circ {\Psi }^{-1})\circ (\Psi \circ \Phi )=\tilde{w}\circ \tilde{\Phi }\text{\hspace{1em}(4)}$$

其中$\tilde{w}=w\circ {\Psi }^{-1},\tilde{\Phi }=\Psi \circ \Phi$，有

$$\frac{\partial R}{\partial w}=\frac{\partial R}{\partial \tilde{w}}\frac{\partial \tilde{w}}{\partial w}=\frac{\partial R}{\partial \tilde{w}}\text{\hspace{1em}(5)}$$

当存在可逆函数$\Psi$时，$R$对$w$或者$\tilde{w}$求导，在数值上两者完全等价

求导是个人理解，原文好像没有，因为是复合多元函数求导，比矩阵更复杂，其中不太能把握的一点在于

$$\tilde{w}(H)=w[{\Psi }^{-1}(H)]\Rightarrow \frac{\partial \tilde{w}}{\partial w}=I(单位阵)\text{\hspace{1em}(6)}$$

如果有问题，欢迎大家在评论区交流