DA-5-Source-Free Domain Adaptation via Distribution Estimation

---

问题定义

• 无源领域自适应问题:先使用有标签的源域数据计算交叉熵损失训练源域模型至收敛,然后不访问源域的数据，将源域模型迁移到无标签的目标域数据上。

研究动机

• 通常源域数据具有隐私性,不可访问.
• 如果目标域特征很好地与源域对齐,那么源域分类器自然能适用于目标域数据
• 由于源域数据不可访问，目前的无源领域自适应方法大多都是隐式地对齐目标域与源域数据分布

本文中心论点

• 利用源域模型和目标域数据构建源域代理特征,从而使得目标域数据与源域数据显示地对齐。

相关工作进展

• 由于源域与目标域分布不同，因此存在域偏移问题。许多方法试图对齐两个域的分布;

• 有源问题(略):①减小度量差异;②对抗判别;③对抗生成;④半监督学习

• 无源问题: SHOT通过信息最大化隐式地对齐两个域。MA- SFDA和SFDA- SS使用生成模型生成目标域数
  据来得到其分布。A2Net引入新的分类器进行对抗训练来对齐源域。SoFA使用变分自编码器来对目标域
  进行编码解码来约束隐空间的特征

介绍本工作相比这些工作有什么不同

• 其他方法使用源域模型的输出来分配伪标签,本文使用更稳健的伪标签策略，即spherical K-means聚类
• 提出源域分布估计(Source Distribution Estimation, SDE)来逼近源域分布,然后从中采样出源域代理特
  征，从而使目标域分布能显式地估计的源域分布进行对齐，然后适应于源域模型的分类器

---

创新点

利用了预训练的源域模型的分类器的权重向量(称为锚点)
利用k-means聚类生成鲁棒伪标签,聚类中心初始化为锚点
利用目标域数据和锚点估计源域数据类条件特征分布，并从估计的分布采样出源域代理特征，以对齐两个域

1 利用锚点的伪标签策略

使用伪标签动机
伪标签携带类别信息，一些方法利用分类器输出的高置信度标签作为伪标签。
但在SFDA问题中，直接使用源域模型产生的预测作为伪标签会存在域偏移的问题，导致分配给目标域数据错误
的伪标签。因此选择spherical k-means来给目标域分配伪标签。

首先，得到源域锚点
由线性分类器可以给出类别预测:
y ^ i = arg ⁡ max ⁡ k f i ⊤ w k G , k ∈ C = { 1 , 2 , ⋯   , K } (1) \hat{y}_{i}=\underset{k}{\arg \max } f_{i}^{\top} \mathbf{w}_{k}^{G}, k \in \mathcal{C}=\{1,2, \cdots, K\}\tag{1} y^​i​=kargmax​fi⊤​wkG​,k∈C={1,2,⋯,K}(1)

• ${\hat{y}}_i\in R^K$是softmax之前的logits vector;
• $f=F(x)\in R^m$为m-dimensinal的特征表示;
• ${\mathbf{w}}^G\in R^{m\times K}$为分类器G学习到的权重， ${\mathbf{w}}_k^G$是其第k个权重向量;
• ${\mathbf{w}}_k^G$包含可以代表整个k类别的总体特点，因此将其作为类别k的锚点。

将目标域要进行k-means算法的聚类中心初始化为源域锚点
第k类的数据往往会产生激活G中第k个权重向量的表示，所以第k类的特征应该聚集在${\mathbf{w}}_k^G$附近
$${\mathcal{A}}_k^{(0)}={\mathrm{w}}_k^G$$

对目标域数据进行k-means算法，以下两步交替进行直至类中心收敛，以得到伪标签
①计算余弦相似度距离
$${\hat{y}}_i^t=\arg \underset{k}{\min }\mathrm{Dist}\left({\mathcal{A}}_k^{(m)},f_i^t\right)$$
其中$\mathrm{Dist}(\mathbf{a},\mathbf{b})=\frac{1}{2}\left(1-\frac{{\mathbf{a}}^{\top }\mathbf{b}}{|\mathbf{a}|\cdot |\mathbf{b}|}\right)$

②更新类中心
$$\text{ (2) }{\mathcal{A}}_k^{(m+1)}=\frac{{\sum }_{i=1}^{n_t}1\left({\hat{y}}_i^t=k\right)f_i^t}{{\sum }_{i=1}^{n}1\left({\hat{y}}_i^t=k\right)}$$

设置阈值$\tau \in (0,1)$,构建伪标签置信度高的子数据集
$${\mathcal{D}}_t^{\prime }={\left\{\left(x_i^t,{\hat{y}}_i^t\right)\mid \mathrm{Dist}\left(f_i^t,{\mathcal{A}}_{{\hat{y}}_i^t}\right)<\tau ,{\hat{y}}_i^t\in \mathcal{C}\right\}}_{i=1}^{n_t^{\prime }}\text{\hspace{1em}(2)}$$

• $x_{i,k}^t$代表伪标签为k类的目标域数据
• $f_{i,k}^t=\mathbf{F}\left(x_{i,k}^t\right)$ 代表特征
• 与以前工作相似，只改变特征提取器，不改变分类器

2 源域分布估计

本文假设源域特征表示服从类条件多元高斯分布
$$f_{i,k}^s\sim {\mathcal{N}}_k^s\left({\mu }_k^s,{\Sigma }_k^s\right),\text{ where }{f}_{i,k}^s=\mathbf{F}\left(x_i^s\mid y_i^s=k\right)$$
其中${\mu }_k^s$可看作是类别k的中心特征表示，${\Sigma }_k^s$可看作是捕获了k个类别特征变化的协方差矩阵,并且包含丰富的语义信息。作者使用一个代理分布来逼近真实的源域分布，记作$N_k^{\mathrm{sur}}\left({\hat{\mu }}_k^s,{\hat{\Sigma }}_k^s\right)$
先估计代理源域均值
由于域偏移,直接使用目标域的均值$\overline{f_k^t}=\frac{{\sum }_i{f}_{i,k}^t}{{\sum }_{x_i^t\in {\mathcal{D}}_t^{\prime }}1\left({\hat{y}}_i^t=k\right)}$作为源域代理均值不合适
根据经验通常有${\Vert {\mathbf{w}}_k^G\Vert }_2<{\Vert f_{i,k}^t\Vert }_2\approx {\Vert f_{i,k}^s\Vert }_2$,因此不使用锚点作为均值估计
作者使用锚点来估计代理源域分布的均值
$${\hat{\mu }}_k^s={\Vert {\bar{f}}_k^t\Vert }_2\cdot \frac{{\mathbf{w}}_k^G}{{\Vert {\mathbf{w}}_k^G\Vert }_2},k\in \mathcal{C}\text{\hspace{1em}(3)}$$

估计代理源域的分布方差
作者假设源域和目标域类内语义信息是一致的，因此从目标特征的统计量中得出源协方差的估计量
$${\hat{\Sigma }}_k^s=\gamma \cdot {\Sigma }_k^t=\gamma \cdot \frac{{\mathbf{f}}_k^t\cdot {\mathbf{f}}_k^{t^{\top }}}{{\sum }_{x_i^t\in {\mathcal{D}}_t^{\prime }}1\left({\hat{y}}_i^t=k\right)},\text{\hspace{1em}(4)}$$
其中${\mathbf{f}}_k^t=\left[f_{1,k}^t-{\bar{f}}_k^t,\cdots ,f_{i,k}^t-{\bar{f}}_k^t,\cdots \right]$是一个矩阵，其列是中第k类的中心化后的目标域特征

利用锚点和目标域数据，得到K个类的条件代理分布
$${\mathcal{N}}_k^{sur}\left({\Vert {\bar{f}}_k^t\Vert }_2\frac{{\mathbf{w}}_k^G}{{\Vert {\mathbf{w}}_k^G\Vert }_2},\frac{\gamma \cdot {\mathbf{f}}_k^t\cdot {\mathbf{f}}_k^{t^{\top }}}{{\sum }_{x_i^t\in {\mathcal{D}}_t^{\prime }}1\left({\hat{y}}_i^t=k\right)}\right),k\in \mathcal{C},\text{\hspace{1em}(5)}$$
从中可以采样出代理特征来模拟真实源域特征
$$f_k^{sur}\sim {\mathcal{N}}_k^{sur}\left({\hat{\mu }}_k^s,{\hat{\Sigma }}_k^s\right)$$

3 无源领域自适应

采用Contrastive Domain Discrepancy (CDD) introduced by Kang et al. [17]来显式地对齐两个域的数据
每次随机选取类别$C^{\prime }\in C,C=1，2，...，K$对于每个类别$k\in C^{\prime }$,从有伪标签的目标域数据集中选择$n_b$个数
据 { { ( x i t , y ^ i t = k ) } i = 1 n b ∣ k ∈ C ′ } \left\{\left\{\left(x_{i}^{t}, \hat{y}_{i}^{t}=k\right)\right\}_{i=1}^{n_{b}} \mid k \in \mathcal{C}^{\prime}\right\} {{(xit​,y^​it​=k)}i=1nb​​∣k∈C′},对应特征为$\left\{{\left\{f_{i,k}^t=\mathbf{F}\left(x_i^t\mid {\hat{y}}_i^t=k\right)\right\}}_{i=1}^{n_b}\mid k\in {\mathcal{C}}^{\prime }\right\}$。

对于源域，选取$n_b$个代理特征$\left\{{\left\{f_{j,k}^{\text{sur }}\sim {\mathcal{N}}_k^{\text{sur }}\right\}}_{j=1}^{n_b}\mid k\in {\mathcal{C}}^{\prime }\right\}$。

带有类别条件的MMD可写作如下形式
$${\mathcal{L}}_{\mathrm{M}\mathrm{M}\mathrm{D}}^{k_1,k_2}=\sum _{i=1}^{n_b}\sum _{j=1}^{n_b}\frac{\mathbb{k}\left(f_{i,k_1}^{sur},f_{j,k_1}^{sur}\right)}{n_b\cdot n_b}+\sum _{i=1}^{n_b}\sum _{j=1}^{n_b}\frac{\mathbb{k}\left(f_{i,k_2}^t,f_{j,k_2}^t\right)}{n_b\cdot n_b}-2\sum _{i=1}^{n_b}\sum _{j=1}^{n_b}\frac{\mathbb{k}\left(f_{i,k_1}^{sur},f_{j,k_2}^t\right)}{n_b\cdot n_b}\text{\hspace{1em}(6)}$$
则最小化CDD损失函数(最小化类内域差异，最大化类间域差异)
$${\mathcal{L}}_{\mathrm{C}\mathrm{D}\mathrm{D}}=\frac{{\sum }_{k\in {\mathcal{C}}^{\prime }}{\mathcal{L}}_{\mathrm{M}\mathrm{M}\mathrm{D}}^{k,k}}{\left|{\mathcal{C}}^{\prime }\right|}-\frac{{\sum }_{k_1\in {\mathcal{C}}^{\prime }}{\sum }_{k_2\in {\mathcal{C}}^{\prime }}^{k_1\ne k_2}{\mathcal{L}}_{\mathrm{M}\mathrm{M}\mathrm{D}}^{k_1,k_2}}{\left|{\mathcal{C}}^{\prime }\right|\left(\left|{\mathcal{C}}^{\prime }\right|-1\right)},\text{\hspace{1em}(7)}$$

CDD意义

(1) 对所有的类别，目标域的样本分布要分别与源域相同类别的样本分布在某一层特征空间中拉近;
(2)对于所有的类别，目标域的某个类别c的样本分布要与源域所有不同类别c的样本分布都拉开距离(最大化差异)。

---

实验结果

消融分析

• 聚类中心
  

• 使用最大概率值得到的伪标签进行训练的结果
  

参数敏感性分析

• 高斯分布中，协方差的缩放因子
  
• 使用spherical k- means聚类,并设置信心阈值，并在模型进行适应之前就选择好了打上伪标签的子数据集，红绿线对应左侧竖坐标准确率，蓝线对应右侧竖坐标选择出的伪标签数量x100
  

可视化&收敛性分析