Generalizing Gaze Estimation with Rotation Consistency CVPR 2022 目标域部分无标注样本

原文链接
概述：本文约束源域、目标域均满足旋转一致性约束。

旋转一致性：$(R^g{)}^{-1}\ast (F(RI))=F(I)$
其中I为输入图像，F为视线估计网络，$R=\left[\begin{array}{cc}cos\theta & -sin\theta \\ sin\theta & cos\theta \end{array}\right]$为图像旋转矩阵，$R^g$为视线逆旋转矩阵，$\theta$为旋转后图像子标签。

具体来说，源域训练损失包括两部分：
1.传统视预测线准确性损失 $argmi{n}_{\theta }{L}_1({\hat{g}}_i^{\ast },g_i^{\ast })$
2.旋转一致性损失 $L_D$则包括两部分：$L_{mean}=\frac{1}{K}{\sum }_{k=1}^K{L}_k(g^{\prime },g)$以及 L s t d = ∑ k = 1 K ( g ′ − { g ′ } ‾ ) K L_{std}=\sqrt{\frac{\sum^K_{k=1}(g'-\overline {\{g'\}})}K} Lstd​=K∑k=1K​(g′−{g′}​)​ ​
其中 { g ′ } = { ( R g ) − 1 } { g ^ } \{g'\}=\{{(R^g)}^{-1}\}\{\hat g\} {g′}={(Rg)−1}{g^​}为一组旋转增强得到的K张图像组{I}逆旋转后的预测视线，g为原图像的真值标签。

对于目标域域适应：
首先根据图像组{I}的预测标签计算伪标签 g n = M e a n ( { ( R g ) − 1 } F ‾ ( { I } ) ) g^n=Mean(\{{(R^g)}^{-1}\}\overline F(\{I\})) gn=Mean({(Rg)−1}F({I})),然后根据伪标签计算旋转一致性损失$L_{mean}=\frac{1}{K}{\sum }_{k=1}^K{L}_k(g^{\prime },g)$以及 L s t d = ∑ k = 1 K ( g ′ − { g ′ } ‾ ) K L_{std}=\sqrt{\frac{\sum^K_{k=1}(g'-\overline {\{g'\}})}K} Lstd​=K∑k=1K​(g′−{g′}​)​ ​

算法流程为：

实验：
在±90度的范围内随机旋转，在源域旋转扩充次数为5，目标域为20。