开放集域适应文献阅读五

1 问题与挑战

  Saito 提出了一种由 $t$ 参数化的二元交叉熵损失，它可以将未知目标样本与已知目标样本中分离。然而，如何理解二元交叉熵损失仍然是个谜。

2 本文贡献

1. 作者利用 Kullback-Leiber（KL）距离提供了对二进制交叉熵损失的深刻理解；
2. 并进一步提出了用对称的 Kullback-Leibler（KL）距离损失来代替二进制交叉熵损失改进的OSDA-BP方法。
   

3 方法

  因此，$f(\theta ,x)$ 输出任何输入图像 $x$ 的 $K+1$ 维概率向量，其形式为：
f ( θ , x ) = { P ( cls ⁡ ( x ) = 1 ) … P ( cls ⁡ ( x ) = K + 1 ) } f(\theta, x)=\{P(\operatorname{cls}(x)=1) \ldots P(\operatorname{cls}(x)=K+1)\} f(θ,x)={P(cls(x)=1)…P(cls(x)=K+1)}
  对于开放集域适应，第一个目标是将已知目标样本正确分类到相应的已知类中。为此，训练网络以最小化源域中 $\theta$ 上的标准交叉熵损失 $L_s$：
$$L_s\left(\theta ,D_s\right)=\frac{1}{\left|D_s\right|}\sum _{\left(x_s,y_s\right)\in D_s}l\left(y_s,f\left(\theta ,x_s\right)\right)$$
其中 $l(y,f)=-{\sum }_{j=1}^K{y}_j\log \left(f_j\right)$，$|Ds|$ 表示集合 $Ds$ 的基数。$P(cls(x)=K+1)=0$，因为源域中没有任何未知样本。
  第二个目标是训练分类器在未知和已知目标样本之间建立边界。对于这个目的，Saito 提出利用二元交叉熵损失：
$$\begin{array}{rl}{L}_u\left(\theta ,x_t\right)=& -(1-t)\left(1-\log \left(P\left(\mathrm{cls}\left(x_t\right)=K+1\right)\right)\right)\\ & -t\log \left(P\left(\mathrm{cls}\left(x_t\right)=K+1\right)\right)\end{array}$$
以便分离任何未知样本 $x_t\in D_t$ 来自已知样本，其中 $t$ 通常设置为0.5。
  再次采用二元交叉熵损失的平均形式，即，
$$L_u\left(\theta ,D_t\right)=\frac{1}{\left|D_t\right|}\sum _{x_t\in D_t}{L}_u\left(\theta ,x_t\right)$$

  作者为这种二元交叉熵损失提供了一些见解。设 ${\mathbf{p}}_t=(t,1-t)$ 表示由 $0＜t＜1$ 参数化的二元分布。对于任何目标样本 $x_t$，设 $\hat{t}\triangleq P\left(\mathrm{cls}\left(x_t\right)=K+1\right)$ 和 ${\mathbf{p}}_{\hat{t}}=(\hat{t},1-\hat{t})$，然后，作者将 ${\mathbf{p}}_t$ 和 ${\mathbf{p}}_{\hat{t}}$ 之间的 Kullback-Leibler（KL）距离写成
$$\begin{array}{rl}{d}_{KL}\left({\mathbf{p}}_t\Vert {\mathbf{p}}_{\hat{t}}\right)& =t\log \frac{t}{\hat{t}}+(1-t)\log \frac{1-t}{1-\hat{t}}\\ & =-t\log \hat{t}-(1-t)\log (1-\hat{t})+\nu (t),\end{array}$$
其中 $\nu (t)=t\log t+(1-t)\log (1-t)$ 是固定 $t$ 的常数。
  现在 Saito 中提出的二元交叉熵损失可以被视为 $(t,1-t)$ 和 $(P(cls(x_t)=K+1)，1-P(cls(x_t)=K+1))$ 之间的 K L距离，省略了 $\nu (t)$。通过设置 $t=0.5$，为训练后的网络提供了一种合理的机制来区分已知类和未知类。
  由于二元交叉熵损失本质上是一个KL距离，我们可以进一步采用它的对称形式为
$$\begin{array}{rl}{L}_{adv}\left(\theta ,t,D_t\right)& =\frac{1}{\left|D_t\right|}\sum _{x_t\in D_t}{L}_{adv}\left(\theta ,t,x_t\right)\\ L_{adv}\left(\theta ,t,x_t\right)& =d_{KL}\left({\mathbf{p}}_t\Vert {\mathbf{p}}_{\hat{t}\left(x_t\right)}\right)+d_{KL}\left({\mathbf{p}}_{\hat{t}\left(x_t\right)}\right)\Vert {\mathbf{p}}_t)\end{array}$$
  总损失：
$$L(\theta ,t)=L_s\left(\theta ,D_s\right)+{\lambda }_1{L}_{adv}\left(\theta ,t,D_t\right)$$
  总体训练目标：
$$\begin{array}{rl}& \underset{{\theta }_c}{\min }{L}_s\left(\theta ,D_s\right)+{\lambda }_1{L}_{adv}\left(\theta ,t,D_t\right)\\ & \underset{{\theta }_q}{\min }{L}_s\left(\theta ,D_s\right)-{\lambda }_1{L}_{adv}\left(\theta ,t,D_t\right)\end{array}$$

4 小结

  理解的很是牵强 ^ _ ^！

参考文献

[1] Fu J , Wu X , Zhang S , et al. Improved Open Set Domain Adaptation with Backpropagation[C]// 2019 IEEE International Conference on Image Processing (ICIP). IEEE, 2019.