DA-3-Contrastive Adaptation Network for Unsupervised Domain Adaptation

原文链接（2019 CVPR）

思想：类间差异最大化，类内差异最小化

主要贡献：

• 提出新的差异度量方法 Contrastive Domain Discrepancy来进行无监督领域自适应的类感知对齐
• 提出Contrastive Adaptation Network进行CDD的端到端训练
• 在Office-31，VisDA-2017数据集取得了优异效果

方法

最大均值差异（MMD, Maximun Mean Discreoancy）

最大均值差异可以参考以下两篇文章:
参考1
参考2

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测，也就直观的判断两个数据的分布。可以表达为下式：

$$f\left(X_{(S)},X_{(T)}\right)=\Vert \frac{1}{n}\sum _{i=1}^n\varphi \left(x_i^s\right)-\frac{1}{m}\sum _{i=1}^m\varphi \left(x_i^t\right)\Vert$$

亦可记作：
$${\mathcal{D}}_{\mathcal{H}}(P,Q)\triangleq \underset{f\sim \mathcal{H}}{\sup }{\left({\mathbb{E}}_{{\mathbf{X}}^s}\left[f\left({\mathbf{X}}^s\right)\right]-{\mathbb{E}}_{{\mathbf{X}}^t}\left[f\left({\mathbf{X}}^t\right)\right]\right)}_{\mathcal{H}}\text{\hspace{1em}(1)}$$

其中$\mathcal{H}$为一类函数。

实际上，对于一层$l$，MMD的平方值可以用经验核平均嵌入估计：

$$\begin{array}{rl}{\hat{\mathcal{D}}}_l^{mmd}& =\frac{1}{n_s^2}\sum _{i=1}^{n_s}\sum _{j=1}^{n_s}{k}_l\left({\varphi }_l\left({\mathbf{x}}_i^s\right),{\varphi }_l\left({\mathbf{x}}_j^s\right)\right)\\ & +\frac{1}{n_t^2}\sum _{i=1}^{n_t}\sum _{j=1}^{n_t}{k}_l\left({\varphi }_l\left({\mathbf{x}}_i^t\right),{\varphi }_l\left({\mathbf{x}}_j^t\right)\right)\\ & -\frac{2}{n_s{n}_t}\sum _{i=1}^{n_s}\sum _{j=1}^{n_t}{k}_l\left({\varphi }_l\left({\mathbf{x}}_i^s\right),{\varphi }_l\left({\mathbf{x}}_j^t\right)\right)\end{array}\text{\hspace{1em}(2)}$$

$k_l$ 表示从深度神经网络的$l$层中选择出来的核kernel

对比域差异（Contrastive Domain Discrepancy）

目的在于利用类信息，并度量跨域的类内和类间差异。

最小化类内域差异，使得类内样本点的特征表示更紧凑。

最大化类间与差异，以促使不同类的特征表示远离决策边界。

将上述两个联合就能提升自适应性能。

提出的对比域差异(CDD)是建立在条件数据跨域分布差异的基础上的。在对数据分布类型没有约束时（如边缘或条件），MMD能很好的度量$P(\varphi (X^s)|Y^s)$与$Q(\varphi (X^t)|Y^t)$之间的差异,即写作$D_{\mathcal{H}}(P,Q)\triangleq su{p}_{f\sim \mathcal{H}}({\mathbb{E}}_{{\mathbf{X}}^s}\left[f\left(\varphi \left({\mathbf{X}}^s\right)\mid Y^s\right)\right]-{\mathbb{E}}_{{\mathbf{X}}^t}\left[f\left(\varphi \left({\mathbf{X}}^t\right)\mid Y^t\right)\right]{)}_{\mathcal{H}}$。

对于两个类$c_1,c_2$（此两类可为同一类也可为不同类），令${\mu }_{c{c}^{\prime }}\left(y,y^{\prime }\right)=\{\begin{array}{ll}1& \text{ if }y=c,y^{\prime }=c^{\prime }\\ 0& \text{ otherwise }\end{array}$$D_{\mathcal{H}}(P,Q)$平方的核平均嵌入估计如下：

$${\hat{\mathcal{D}}}^{c_1{c}_2}\left({\hat{y}}_1^t,{\hat{y}}_2^t,\cdots ,{\hat{y}}_{n_t}^t,\varphi \right)=e_1+e_2-2e_3\text{\hspace{1em}(3)}$$

其中

$$\begin{array}{rl}{e}_1& =\sum _{i=1}^{n_s}\sum _{j=1}^{n_s}\frac{{\mu }_{c_1{c}_1}\left(y_i^s,y_j^s\right)k\left(\varphi \left({\mathbf{x}}_i^s\right),\varphi \left({\mathbf{x}}_j^s\right)\right)}{{\sum }_{i=1}^{n_s}{\sum }_{j=1}^{n_s}{\mu }_{c_1{c}_1}\left(y_i^s,y_j^s\right)}\\ e_2& =\sum _{i=1}^{n_t}\sum _{j=1}^{n_t}\frac{{\mu }_{c_2{c}_2}\left({\hat{y}}_i^t,{\hat{y}}_j^t\right)k\left(\varphi \left({\mathbf{x}}_i^t\right),\varphi \left({\mathbf{x}}_j^t\right)\right)}{{\sum }_{i=1}^{n_t}{\sum }_{j=1}^{n_t}{\mu }_{c_2{c}_2}\left({\hat{y}}_i^t,{\hat{y}}_j^t\right)}\\ e_3& =\sum _{i=1}^{n_s}\sum _{j=1}^{n_t}\frac{{\mu }_{c_1{c}_2}\left(y_i^s,{\hat{y}}_j^t\right)k\left(\varphi \left({\mathbf{x}}_i^s\right),\varphi \left({\mathbf{x}}_j^t\right)\right)}{{\sum }_{i=1}^{n_s}{\sum }_{j=1}^{n_t}{\mu }_{c_1{c}_2}\left(y_i^s,{\hat{y}}_j^t\right)}\end{array}\text{\hspace{1em}(4)}$$

(个人理解，就是在y的条件下，求其MMD)

将 ${\hat{y}}_1^t,{\hat{y}}_2^t,\cdots ,{\hat{y}}_{n_t}^t$ 写作 ${\hat{y}}_{1:n_t}^t$，则基于上述推导，得到CDD：

$$\begin{array}{rl}{\hat{\mathcal{D}}}^{cdd}& =\underset{\text{intra }}{\underbrace{\frac{1}{M}\sum _{c=1}^M{\hat{\mathcal{D}}}^{cc}\left({\hat{y}}_{1:n_t}^t,\varphi \right)}}\\ & -\underset{\text{inter }}{\underbrace{\frac{1}{M(M-1)}\sum _{c=1}^M\sum _{\genfrac{}{}{0ex}{}{c^{\prime }=1}{c^{\prime }\ne c}}^M{\hat{\mathcal{D}}}^{c{c}^{\prime }}\left({\hat{y}}_{1:n_t}^t,\varphi \right)}},\end{array}\text{\hspace{1em}(5)}$$

(即可分为属于同一类和不同类，同一类让其分布差异尽可能小，不同类则分布差异尽可能大)

对比自适应网络（Contrastive Adaptation Network）

提取一般特征的卷积层具有更强的可转移性，而表现抽象和特定领域特征的全连接层则需要适应。

本文从ImageNet预训练网络(如ResNet)出发，将最后一个FC层替换为任务特定的FC层(即全连接层)。论文遵循一般方式，最小化最后的FC层的域差异，并通过反向传播对卷积层进行微调。于是，尚文提出的CDD可以很容易地作为FC层激活的适应模块纳入目标，作者命名为Contrastive Adaptation Network (CAN)。

总体目标。在deep CNN中，最小化多个FC层上的CDD，即最小化

$${\hat{\mathcal{D}}}_{\mathcal{L}}^{cdd}=\sum _{l=1}^L{\hat{\mathcal{D}}}_l^{cdd}\text{\hspace{1em}(6)}$$

此外，通过有标签源域数据的最小化交叉熵来训练网络
$${\ell }^{ce}=-\frac{1}{n^{\prime }{}_s}\sum _{i^{\prime }=1}^{n^{\prime }{}_s}\log P_{\theta }\left(y_{i^{\prime }}^s\mid {\mathbf{x}}_{i^{\prime }}^s\right)\text{\hspace{1em}(7)}$$

其中， y s ∈ { 0 , − 1 , . . . , M − 1 } y^s \in\{0,-1,...,M-1\} ys∈{0,−1,...,M−1}为 $x^s$ 的真实标签。$P_{\theta }\left(y\mid \mathbf{x}\right)$表示在给定输入$x$的情况下，以 $\theta$ 参数化网络时，标记为 $y$ 的预测概率。

因此，总的目标函数如下：
$$\underset{\theta }{\min }\ell ={\ell }^{ce}+\beta {\hat{\mathcal{D}}}_{\mathcal{L}}^{cdd}\text{\hspace{1em}(8)}$$

$\beta$是差异惩罚项的权重。

CAN优化

此部分讨论在CAN中优化CDD。框架图如下

上图为CAN的训练过程。为了最小化CDD，论文在通过聚类更新目标标签假设和通过反向传播自适应特征表示之间进行交替优化。在聚类中，根据目标样本当前的特征表示，对其采用球面Kmeans聚类。集群的数量等于底层类的数量，每个类集群的初始中心设置为同一类内源数据的中心。然后丢弃模糊数据(即远离附属聚类中心的数据)和模糊类(即在附属聚类中心周围包含少量目标样本的数据)。在特征自适应方面，将聚类阶段提供的标记目标样本与标记源样本一起通过网络实现其多层特征表示。采用域特有的FC层特征估计CDD (Eq.(5))。此外，对独立采样的源数据应用交叉熵损失。反向传播以最小化CDD和交叉熵损失(Eq.(8))适应特征并提供类感知对齐。

Alternative optimization (AO)

如式（5）所示，需要联合优化目标域标签假设$\widehat{y_{1:n_t}^t}$ 和特征表示 ${\varphi }_{1:L}$。论文进行交替优化，即在每一个循环中，对于当前的特征表示，固定 $\theta$ , 通过聚类更新目标域标签 ${\hat{y}}^t$。然后，基于更新后的目标域标签${\hat{y}}^t$ ，最小化CDD，通过后向传播优化$\theta$。

作者使用第一任务特定层的输入激活${\varphi }_1(\cdot )$来代表一个样本。例如，在ResNet中，每个样本都可以表示为全局平均池化层的输出，这也是下一个任务特定层的输入。

然后采用球面K-means对目标样本进行聚类，并贴上相应的标签，聚类数域潜在的类别数均为M。对于每个类，目标域的聚类中心 $O^{tc}$ 初始化为源域的聚类中心$O^{sc},i.e.O^{tc}\leftarrow O^{sc},where{O}^{sc}={\sum }_{i=1}^{N_s}{1}_{y_i^s=c}=\frac{{\varphi }_1(x_i^s)}{||{\varphi }_1(x_i^s)||},1_{y_i^s=c}\{\begin{array}{ll}1& \text{ if }{y}_i^s=c\\ 0& \text{ otherwise }\end{array}$
作者应用了余弦不相似性度量征空间中点a和点b之间的距离，$i.e.dist(a,b)=\frac{1}{2}(1-\frac{<a,b>}{||a||||b||})$。

于是聚类过程迭代如下：

1. 给目标域打伪标签：${\hat{y}}_i^t\leftarrow \underset{c}{\mathrm{argmin}}dist({\varphi }_i(x_i^t),O^{tc})$
2. 更新聚类中心：$O^{tc}\leftarrow {\sum }_{i=1}^{N_t}{1}_{y_i^t=c}=\frac{{\varphi }_1(x_i^t)}{||{\varphi }_1(x_i^t)||}$
3. 直到收敛或达到设置的最大聚类步数

聚类后，每个目标域都有一个对应的伪标签。但对于一些距离相应的聚类中心距离较远的伪标签，选择抛弃。作者选择一个子集
$\tilde{\mathcal{T}}=\left\{\left({\mathbf{x}}^t,{\hat{y}}^t\right)\mid \mathrm{dist}\left({\varphi }_1\left({\mathbf{x}}^t\right),O^{t\left({\hat{y}}^t\right)}\right)<D_0,{\mathbf{x}}^t\in \mathcal{T}\right\}$,其中，$D_0\in [0,1]$为一个常数。
同时，每个子集都应该有一个最小的样本数，
C T e = { c ∣ ∑ i ∣ T ~ ∣ 1 y ^ i t = c > N 0 , c ∈ { 0 , 1 , . . . , M − 1 } } , N 0 \mathcal{C}_{T_{e}}=\left\{c \mid \sum_{i}^{|\tilde{\mathcal{T}}|} \mathbf{1}_{\hat{y}_{i}^{t}=c}>N_{0}, c \in\{0,1,...,M-1\}\right\},N_0 CTe​​={c∣∑i∣T~∣​1y^​it​=c​>N0​,c∈{0,1,...,M−1}},N0​为常数，不满足此条件则此类不进行此迭代。

在训练开始时，由于领域漂移，它有可能排除部分类。然而，随着训练的进行，越来越多的课程被包括在内。其原因有两个方面:1)随着训练的进行，模型变得更加准确;2)得益于CDD惩罚，类内域差异变小，类间域差异变大，从而能够考虑到难(即模糊)的类。

Class-aware Sampling（CAS）

在传统的深度神经网络训练中，每次迭代通常只对一小批数据进行采样，而不进行类的区分。然而，对于计算CDD来说，它的效率会较低。例如，对于类C，在迷你批处理中可能只存在来自一个域(源或目标)的样本，因此无法估计类内差异。

作者采用CAS策略来实现CDD对网络的有效更新。从类$C_{T_e}$随机选择子集$C_{T_e}^{{}^{\prime }}$,然后对于$C_{T_e}^{{}^{\prime }}$中的每个类进行在源域和目标域上的采样。