2019_PMLR_Bridging Theory and Algorithm for Domain Adaptation

全文翻译如下：

本文从理论和算法两个角度研究了无监督域适应问题。现有的领域自适应理论中自然隐含着极大极小优化算法，它们与基于对抗学习的领域自适应方法有着很好的结合。然而，几种脱节现象仍然存在，形成了理论与算法之间的鸿沟。我们将之前的理论( Mansour et al . , 2009c ; Ben-David et al , 2010)扩展到领域自适应中的多类分类，其中基于评分函数和边界损失的分类器是算法设计中的标准选择。我们引入了边缘差异度，这是一种新的具有严格泛化边界的度量方法，它针对非对称边缘损失的分布比较和更易于训练的minimax优化。我们的理论可以无缝地转化为领域自适应的对抗学习算法，成功地弥合了理论与算法之间的鸿沟。一系列的实证研究表明，我们的算法在具有挑战性的领域适应任务上达到了最新的精度。

1. Introduction

学习理论中通常假设训练和测试数据来自同分布。如果我们训练有监督学习器的源域与应用学习器的目标域有本质上的不同，则不存在良好泛化的可能性。然而，我们可能期望通过利用来自相似但不同领域的标记数据来训练模型，这是领域自适应处理( Quionero-坎德拉et al , 2009 ; Pan & Yang , 2010)的关键机器学习设置。
领域自适应已经取得了显著的理论进展。Mansour等( 2009c )；Ben-David et al . ( 2010 )为无监督域适应提供了严格的学习边界，是该领域最具挑战性的场景。这些最早的理论后来在很多方面得到了扩展，从损失函数到贝叶斯设定和回归问题( Mohri & Medina , 2012 ;赫尔马因et al , 2013 ; Cortes et al , 2015)。此外，基于假设加权组合的理论也被发展用于多源域适配(填鸭器et al , 2008 ; Mansour et al , 2009b ; a ; Hoffman et al , 2018a)。
与理论发现相同，领域适应算法也有丰富的进展。之前的工作探索了各种统计量匹配(潘文卿等, 2011 ; Tzeng等, 2014 ; Long et al . , 2015 ; 2017年)和差异最小化( Ganin & Lempitsky , 2015 ; Ganin et al , 2016)的技术。其中，对抗学习方法具有较强的理论洞见。受古德费洛等人( 2014 )的启发，这些方法建立在领域判别器和特征提取器之间的双人博弈之上。目前的工作以不同的方式探索对抗学习，在许多任务( Tzeng等, 2017 ; Saito等, 2018 ; Long等, 2018)上取得了最新的研究成果。
虽然许多领域自适应算法可以被粗略地解释为最小化理论中的分布差异，但几个脱节仍然在理论和算法之间形成不可忽视的鸿沟。首先，使用打分函数的域适应算法缺乏理论保证，因为之前的工作只是简单地研究了该场景下的0 - 1分类损失。同时，在理论和算法( Ganin & Lempitsky , 2015 ;格雷顿et al , 2012 ; Long et al , 2015 ; Courty et al , 2017)中广泛使用的分歧之间存在差距。
本工作旨在弥合领域自适应理论与算法之间的鸿沟。我们对领域适应中的分类任务进行了新的理论分析，为算法设计提供了明确的指导。我们将现有的理论扩展到基于评分函数和间隔损失的分类器，更接近于真实任务的选择。我们定义了一个新的散度- -边缘差异散度( Margin Disparity Discrepancy )，并基于Rademacher复杂度给出了边缘感知的泛化边界，揭示了泛化误差和边缘选择之间存在折衷。我们的理论可以无缝地转化为对抗学习算法进行领域自适应，在几个具有挑战性的真实任务上达到了当前的精度。

2. Preliminaries

在这一部分我们介绍了领域适应中分类问题的基本记号和假设。

2.1. Learning Setup

在监督学习设置中，学习器从 $\mathcal{X}\times \mathcal{Y}$中接收一个有$n$个标记点的样本 { ( x i , y i ) } i = 1 n \left\{\left(x_i, y_i\right)\right\}_{i=1}^n {(xi​,yi​)}i=1n​，其中$\mathcal{X}$为输入空间，$\mathcal{Y}$为输出空间，二分类时为 { 0 , 1 } \{0,1\} {0,1}，多分类时为 { 1 , … , k } \{1, \ldots, k\} {1,…,k}。如果按照分布$D$独立绘制，则用$\hat{D}$表示。
在无监督域适应中，存在源点 $P$ 和目标点 $Q$两种不同的分布，学习器在源点分布中抽取的有标签样本 P ^ = { ( x i s , y i s ) } i = 1 n \widehat{P}=\left\{\left(x_i^s, y_i^s\right)\right\}_{i=1}^n P ={(xis​,yis​)}i=1n​和目标点分布中抽取的无标签样本$\hat{Q}=$ { x i t } i = 1 m \left\{x_i^t\right\}_{i=1}^m {xit​}i=1m​上进行训练。
遵循Mohri et al . ( 2012 )的思想，我们考虑评分函数$f:\mathcal{X}\to {\mathbb{R}}^{|\mathcal{Y}|}={\mathbb{R}}^k$的假设空间$\mathcal{F}$上的多类分类，其中每个维度上的输出表示预测的置信度。稍微滥用符号，我们考虑$f:\mathcal{X}\times \mathcal{Y}\to \mathbb{R}$，$f(x,y)$表示$f(x)$对应于标签$y$的分量.与x点相关联的预测标签即为得分最大的标签。由此导出一个包含$h_f$的标记函数空间 $\mathcal{H}$ ，从$\mathcal{X}$到$\mathcal{Y}$：
$$h_f:x\mapsto \underset{y\in \mathcal{Y}}{\mathrm{argmax}}f(x,y).$$
给出了分类器 $h\in \mathcal{H}$关于分布D的(期望)错误率和经验错误率
$$\begin{array}{rl}{\mathrm{err}}_D(h)& \triangleq {\mathbb{E}}_{(x,y)\sim D}1[h(x)\ne y],\\ {\mathrm{err}}_{\hat{D}}(h)& \triangleq {\mathbb{E}}_{(x,y)\sim \bar{D}}1[h(x)\ne y]\\ & =\frac{1}{n}\sum _{i=1}^{n}1\left[h\left(x_i\right)\ne y_i\right],\end{array}$$
其中，$1$为指示函数。在进一步讨论之前，假设常量分类器$1\in \mathcal{H}$，且$\mathcal{H}$在$\mathcal{Y}$的排列下是封闭的。对于二分类问题，这等价于假设对任意的$h\in \mathcal{H}$，都有$1-h\in \mathcal{H}$。

2.2. Margin Loss

在实际应用中，数据点与分类面之间的间隔对于实现强泛化性能具有重要作用。因此，Koltchinskii等( 2002 )提出了分类边际理论，用边际损失代替0 - 1损失。
定义假设$f$在有标签样本$(x,y)$处的边界为
$${\rho }_f(x,y)\triangleq \frac{1}{2}\left(f(x,y)-\underset{y^{\prime }\ne y}{\max }f\left(x,y^{\prime }\right)\right).$$
假设$f$对应的边际损失和经验边际损失为
$$\begin{array}{c}{\mathrm{err}}_D^{(\rho )}(f)\triangleq {\mathbb{E}}_{x\sim D}{\Phi }_{\rho }\circ {\rho }_f(x,y)\\ {\mathrm{err}}_{\hat{D}}^{(\rho )}(f)\triangleq {\mathbb{E}}_{x\sim \hat{D}}{\Phi }_{\rho \circ }{\rho }_f(x,y)=\frac{1}{n}\sum _{i=1}^n{\Phi }_{\rho }\left({\rho }_f\left(x_i,y_i\right)\right),\end{array}$$
其中， $\circ$ 表示函数复合，且 ${\Phi }_{\rho }$是
$${\Phi }_{\rho }(x)\triangleq \{\begin{array}{ll}0& \rho \le x\\ 1-x/\rho & 0\le x\le \rho .\\ 1& x\le 0\end{array}$$
一个重要的性质是对任意的$\rho >0$ and $f\in \mathcal{F}$，都有${\mathrm{err}}_D^{(\rho )}(f)\ge {\mathrm{err}}_D\left(h_f\right)$。Koltchinskii等( 2002 )的研究表明，边界损失会导致分类的信息泛化边界。在这一开创性工作的基础上，我们将发展领域适应中的分类边界。

3. Theoretical Guarantees

在这一部分，我们给出了域适应的理论保证。所有的证明都可以在附录A - C中找到。
为了降低只在源域上有标记训练数据的目标域上的错误率，分布$P$和 $Q$ 不应该有本质的不同。因此，对两者差异的测量在领域适应理论中至关重要。在开创性的工作( Ben-David et al , 2010)中，提出了 $\mathcal{H}\Delta \mathcal{H}$ 散度来衡量这种差异，
$$d_{\mathcal{H}\Delta \mathcal{H}}=\underset{h,h^{\prime }\in \mathcal{H}}{\sup }\left|{\mathbb{E}}_{Q}1\left[h^{\prime }\ne h\right]-{\mathbb{E}}_{P}1\left[h^{\prime }\ne h\right]\right|.$$
Mansour等( 2009c )将$\mathcal{H}\Delta \mathcal{H}$散度推广到一般的损失函数，得到了差异距离：
$${\mathrm{disc}}_L=\underset{h,h^{\prime }\in \mathcal{H}}{\sup }\left|{\mathbb{E}}_{Q}L\left(h^{\prime },h\right)-{\mathbb{E}}_{P}L\left(h^{\prime },h\right)\right|,$$
式中：$L$应为满足对称性和三角不等式的有界函数。值得注意的是，许多广泛使用的损失，如margin loss，并不满足这些要求。
在这些差异度量下，基于VC维和Rademacher复杂度严格推导了领域自适应的泛化边界。虽然这些理论在推进算法设计方面产生了重要影响，但有两个重要的改进方向：

• 带有评分函数的分类泛化界限尚未在领域适应设置中得到正式研究。由于带有边界损失的评分函数在标准分类中提供了有信息的泛化边界，因此有强烈的动机开发一个用于领域适应的边界理论。
• 假设引起的偏差需要在假设空间$\mathcal{H}\Delta \mathcal{H}$上取上确界，而获得较低的泛化界则需要对抗地最小化这些偏差。计算上确界需要$\mathcal{H}\Delta \mathcal{H}$上的遍历性，并且该问题中的最优假设可能与最优分类器存在显著差异，这大大增加了优化的难度。因此，迫切需要理论上证明的算法，不仅最小化源域上的经验误差，而且最小化差异度量。

这些方向是实际算法设计中的痛点。在使用评分函数设计域适应算法时，由于理论和算法中使用的损失函数之间存在差距，我们可能会怀疑算法是否在理论上有保证。另一个差距在于假设导致的理论差异和领域适应算法中广泛使用的分歧，包括Jensen Shannon Divergence ( Ganin & Lempitsky , 2015)、Maximum Mean Disrepancy ( Long et al , 2015)和wasserstein距离( Courty等, 2017)。在这项工作中，我们旨在通过定义一个新的、理论上合理的边缘视差差异来弥合领域自适应理论和算法之间的这些差距。

3.1. Margin Disparity Discrepancy

首先，我们通过限制假设空间，给出了一种改进的度量分布差异的差异度。
给定两个假设$h,h^{\prime }\in \mathcal{H}$，我们定义它们之间的(期望) 0 - 1视差为
$${\mathrm{disp}}_D\left(h^{\prime },h\right)\triangleq {\mathbb{E}}_{D}1\left[h^{\prime }\ne h\right],$$
而经验上的0 - 1差距为
$${\mathrm{disp}}_{\hat{D}}\left(h^{\prime },h\right)\triangleq {\mathbb{E}}_{\hat{D}}1\left[h^{\prime }\ne h\right]=\frac{1}{n}\sum _{i=1}^{n}1\left[h^{\prime }\left(x_i\right)\ne h\left(x_i\right)\right].$$
定义3.1 (视差差异, DD) .给定一个假设空间$\mathcal{H}$ 和一个特定的分类器$h\in \mathcal{H}$，由$h^{\prime }\in \mathcal{H}$ 诱导的差异度( DD )定义为
$$\begin{array}{rl}{d}_{h,\mathcal{H}}(P,Q)& \triangleq \underset{h^{\prime }\in \mathcal{H}}{\sup }\left({\mathrm{disp}}_Q\left(h^{\prime },h\right)-{\mathrm{disp}}_P\left(h^{\prime },h\right)\right)\\ & =\underset{h^{\prime }\in \mathcal{H}}{\sup }\left({\mathbb{E}}_{Q}1\left[h^{\prime }\ne h\right]-{\mathbb{E}}_{P}1\left[h^{\prime }\ne h\right]\right).\end{array}$$
类似地，经验视差差异为
$$d_{h,\mathcal{H}}(\hat{P},\hat{Q})\triangleq \underset{h^{\prime }\in \mathcal{H}}{\sup }\left({\mathrm{disp}}_{\hat{Q}}\left(h^{\prime },h\right)-{\mathrm{disp}}_{\hat{P}}\left(h^{\prime },h\right)\right)$$
注意到视差差异不仅依赖于假设空间 $\mathcal{H}$，还依赖于特定的分类器 $h$。我们将证明这种差异可以很好地度量分布(实际上是二元情况下的伪度量)的差异，从而得到二分类的VC维泛化界。附录B提供了该标准情况的另一种分析。与$\mathcal{H}\Delta \mathcal{H}$ -散度相比，视差偏差中的上确界仅在假设空间$\mathcal{H}$上方，因此更容易优化。这将大大缓解在许多领域适应算法中广泛使用的minimax优化。
正如Koltchinskii et al . ( 2002 )所设想的那样，在多类分类的情况下，得分函数的边界成为信息泛化界的一个重要因素。现有的域适应理论( Ben-David et al , 2007 ; 2010 ;布利策et al , 2008 ; Mansour et al , 2009c)并没有给出带有评分函数和边界损失的泛化边界的形式化分析。为了弥补通常分析具有对称性和次可加性的标记函数和损失函数的理论与广泛采用打分函数和边缘损失的算法之间的差距，我们提出了基于边缘的视差差异。
定义边际差异，即通过将0 - 1损失变为边际损失的差异，其经验版本从假设$f$ 变为$f^{\prime }$
$$\begin{array}{rl}{\mathrm{disp}}_D^{(\rho )}\left(f^{\prime },f\right)& \triangleq {\mathbb{E}}_D{\Phi }_{\rho }\circ {\rho }_{f^{\prime }}\left(\cdot ,h_f\right)\\ {\mathrm{disp}}_{\hat{D}}^{(\rho )}\left(f^{\prime },f\right)& \triangleq {\mathbb{E}}_{\hat{D}}{\Phi }_{\rho }\circ {\rho }_{f^{\prime }}\left(\cdot ,h_f\right)\\ & =\frac{1}{n}\sum _{i=1}^n{\Phi }_{\rho }\circ {\rho }_{f^{\prime }}\left(x_i,h_f\left(x_i\right)\right).\end{array}$$
注意到$f$ 和$f^{\prime }$是打分函数， $h_f$和$h_{f^{\prime }}$是它们的标记函数.另外需要注意的是，边缘差异不是关于$f$和$f^{\prime }$的对称函数，这种损失的推广理论关于可能与要求对称性和次可加性的差异距离( Mansour et al , 2009c)有很大不同。
定义3.2 (边缘不平衡量( Margin Disparity Discrepancy , MDD )) .根据边缘差异的定义，我们定义了边缘差异差异( MDD )及其经验版本
$$\begin{array}{rl}& d_{f,\mathcal{F}}^{(\rho )}(P,Q)\triangleq \underset{f^{\prime }\in \mathcal{F}}{\sup }\left({\mathrm{disp}}_Q^{(\rho )}\left(f^{\prime },f\right)-{\mathrm{disp}}_P^{(\rho )}\left(f^{\prime },f\right)\right)\\ & d_{f,\mathcal{F}}^{(\rho )}(\hat{P},\hat{Q})\triangleq \underset{f^{\prime }\in \mathcal{F}}{\sup }\left({\mathrm{disp}}_{\hat{Q}}^{(\rho )}\left(f^{\prime },f\right)-{\mathrm{disp}}_{\hat{P}}^{(\rho )}\left(f^{\prime },f\right)\right).\end{array}$$
由于 $d_{f,\mathcal{F}}^{(\rho )}(P,P)=0$且满足非负性和次可加性，所以边缘视差差异( MDD )是定义良好的。尽管存在不对称性，MDD有能力测量领域适应在以下命题上的分布差异。
命题3.3。对于每一个得分函数$f$，
$${\mathrm{err}}_Q\left(h_f\right)\le {\mathrm{err}}_P^{(\rho )}(f)+d_{f,\mathcal{F}}^{(\rho )}(P,Q)+\lambda$$
其中$\lambda =\lambda (\rho ,\mathcal{F},P,Q)$为理想的组合保证金损失：
$$\lambda =\underset{f^{\ast }\in \mathcal{H}}{\min }\left\{{\mathrm{err}}_P^{(\rho )}\left(f^{\ast }\right)+{\mathrm{err}}_Q^{(\rho )}\left(f^{\ast }\right)\right\}$$
这个上界与Ben - David等人( 2010 )提出的学习界具有相似的形式. $\lambda$由量化"适应性"逆的学习问题决定，如果假设空间足够丰富，$\lambda$可以减小到一个很小的值. ${\mathrm{err}}_P^{(\rho )}(f)$刻画了$f$ 在源域上的表现，MDD限制了由域偏移引起的性能差距.这个边界为分析域适应的评分函数和边界损失提供了一个新的视角。

3.2. Domain Adaptation: Generalization Bounds

在本小节中，我们提供了几种基于边界损失和边界视差差异( MDD )的多类域适应的泛化边界。首先，我们给出了MDD与其经验版本之间差异的Rademacher复杂度界.然后，我们结合MDD的Rademacher复杂度界和命题3.3得到最终的推广界。
首先，我们引入一个新的函数类${\Pi }_{\mathcal{H}}\mathcal{F}$，作为Ben - David等( 2010 )中对称差分假设空间$\mathcal{H}\Delta \mathcal{H}$ 的"打分"版本。为了更加直观，我们在附录(定义C.3 )中也给出了该概念的几何解释。
定义3.4 .给定一类得分函数$\mathcal{F}$ 和一类诱导分类器 $\mathcal{H}$，我们定义${\Pi }_{\mathcal{H}}\mathcal{F}$ 为
Π H F = { x ↦ f ( x , h ( x ) ) ∣ h ∈ H , f ∈ F } . \Pi_{\mathcal{H}} \mathcal{F}=\{x \mapsto f(x, h(x)) \mid h \in \mathcal{H}, f \in \mathcal{F}\} . ΠH​F={x↦f(x,h(x))∣h∈H,f∈F}.
现在我们引入泛化理论中常用的Rademacher复杂度作为对特定假设空间( Mohri et al , 2012)的丰富度的度量。
定义3.5 ( Rademacher复杂度) .设$\mathcal{F}$是一个从$\mathcal{Z}=\mathcal{X}\times \mathcal{Y}$到$[a,b]$ 的函数族， D ^ = { z 1 , … , z n } \widehat{D}=\left\{z_1, \ldots, z_n\right\} D ={z1​,…,zn​}是从$\mathcal{Z}$上的分布$D$中抽取的一个大小为n的固定样本
$${\hat{\Re }}_{\hat{D}}(\mathcal{F})\triangleq {\mathbb{E}}_{\sigma }\underset{f\in \mathcal{F}}{\sup }\frac{1}{n}\sum _{i=1}^n{\sigma }_{i}f\left(z_i\right).$$
其中${\sigma }_i$ 是取值于 { − 1 , + 1 } \{-1,+1\} {−1,+1}的独立均匀随机变量. Rademacher复杂度为
$${\Re }_{n,D}(\mathcal{F})\triangleq {\mathbb{E}}_{\hat{D}\sim D^n}{\hat{\Re }}_{\hat{D}}(\mathcal{F}).$$
结合Rademacher复杂度，我们进一步表明MDD可以通过有限样本进行很好的估计。
引理3.6 .对任意的$\delta >0$，以概率 $1-2\delta$，对任意的得分函数$f$，有
$$\begin{array}{rl}& \left|d_{f,\mathcal{F}}^{(\rho )}(\hat{P},\hat{Q})-d_{f,\mathcal{F}}^{(\rho )}(P,Q)\right|\\ \le & \frac{2k}{\rho }{\Re }_{n,P}\left({\Pi }_{\mathcal{H}}\mathcal{F}\right)+\frac{2k}{\rho }{\Re }_{m,Q}\left({\Pi }_{\mathcal{H}}\mathcal{F}\right)+\sqrt{\frac{\log \frac{2}{\delta }}{2n}}+\sqrt{\frac{\log \frac{2}{\delta }}{2m}}\end{array}$$
该引理证明了关于$f$的期望MDD可以由样本上计算的经验MDD一致逼近。误差项由假设集的复杂度、间隔$\rho$、类别数$k$和样本容量$n,m$控制。
结合命题3.3和引理3.6，我们通过经验MDD得到了基于Rademacher复杂度的期望目标误差的一个推广界。
定理3.7 (推广界)。给定与定义3.5相同的设定，对于任意的$\delta >0$，以概率$1-3\delta$，我们对所有的打分函数$f$有如下一致的推广界：
$$\begin{array}{rl}{\mathrm{err}}_Q(f)& \le {\mathrm{err}}_{\hat{P}}^{(\rho )}(f)+d_{f,\mathcal{F}}^{(\rho )}(\hat{P},\hat{Q})+\lambda \\ & +\frac{2k^2}{\rho }{\Re }_{n,P}\left({\Pi }_1\mathcal{F}\right)+\frac{2k}{\rho }{\Re }_{n,P}\left({\Pi }_{\mathcal{H}}\mathcal{F}\right)+2\sqrt{\frac{\log \frac{2}{\delta }}{2n}}\\ & +\frac{2k}{\rho }{\Re }_{m,Q}\left({\Pi }_{\mathcal{H}}\mathcal{F}\right)+\sqrt{\frac{\log \frac{2}{\delta }}{2m}}\end{array}$$
其中${\Pi }_1(\mathcal{F})$定义为
Π 1 F ≜ { x ↦ f ( x , y ) ∣ y ∈ Y , f ∈ F } \Pi_1 \mathcal{F} \triangleq\{x \mapsto f(x, y) \mid y \in \mathcal{Y}, f \in \mathcal{F}\} Π1​F≜{x↦f(x,y)∣y∈Y,f∈F}
并且 $\lambda =\lambda (\rho ,\mathcal{F},P,Q)$ 是与$f$无关的常数.
注意，记号${\Pi }_1\mathcal{F}$来自Mohri et al ( 2012 )，其中1表示映射所有点到同一个类的常数函数，${\Pi }_1\mathcal{F}$可以看作是$\mathcal{F}$ 在每个维度(见附录引理C.4)上的投影的并。因为Rademacher复杂度只定义在实值函数类上，所以需要这样的投影。
与基于0 - 1损失和 $\mathcal{H}\Delta \mathcal{H}$ divergence ( Ben-David et al , 2010 ; Mansour et al , 2009c)的界相比，该泛化界的信息更丰富。通过选择更好的间隔$\rho$，我们可以在目标域上取得更好的泛化能力。此外，我们还指出，在 $\rho$的选择上存在泛化和优化的权衡。对于较小的 $\rho$和丰富的假设空间，前两项根据 $\rho$相差不大，因此右端随着 $\rho$的增大而变小。然而，对于过大的 $\rho$，这些项无法优化到可接受的小值。
尽管我们已经证明了边界界，但定理3.7中Rademacher复杂度的值仍然不够明确。因此，我们在附录中加入了一个线性分类器的例子(例C.9 )。我们还需要检验 ${\Re }_{n,D}\left({\Pi }_{\mathcal{H}}\mathcal{F}\right)$随$n$的增长的变化情况。为此，我们给出了Zhou ( 2002 )中覆盖数的概念；Anthony &巴特利特( 2009 )；Talagrand ( 2014 )。
直观上，覆盖数${\mathcal{N}}_2(\tau ,\mathcal{G})$是覆盖有界函数$g:\mathcal{X}\to \mathbb{R}$类$\mathcal{G}$ 所需的半径为$\tau >0$ 的${\mathcal{L}}_2$球的最小个数，可以理解为$\mathcal{G}$类在尺度$\tau$上的丰富度的度量。附录中给出了严格的定义，并证明了MDD的覆盖数的下界.
定理3.8 (具有覆盖数的广义界)。在定理3.7相同的条件下，进一步假设${\Pi }_1\mathcal{F}$在${\mathcal{L}}_2$ 中由$L$有界.对于$\delta >0$，以概率$1-3\delta$，我们对所有得分函数$f$有如下一致的推广界：
$$\begin{array}{rl}{\mathrm{err}}_Q(f)& \le {\mathrm{err}}_{\hat{P}}^{(\rho )}(f)+d_{f,\mathcal{F}}^{(\rho )}(\hat{P},\hat{Q})+\lambda +2\sqrt{\frac{\log \frac{2}{\delta }}{2n}}\\ & +\sqrt{\frac{\log \frac{2}{\delta }}{2m}}+\frac{16k^2\sqrt{k}}{\rho }\underset{ϵ\ge 0}{\inf }\{ϵ+3\left(\frac{1}{\sqrt{n}}+\frac{1}{\sqrt{m}}\right)\\ & \left({\int }_{ϵ}^L\sqrt{\log {\mathcal{N}}_2\left(\tau ,{\Pi }_1\mathcal{F}\right)}d\tau +L{\int }_{ϵ/L}^1\sqrt{\log {\mathcal{N}}_2\left(\tau ,{\Pi }_1\mathcal{H}\right)}\mathrm{d}\tau \right)\}.\end{array}$$
与3.7相比，Rademacher复杂度项被更直观和具体的覆盖数概念所取代。理论上，当$k=2$时，覆盖数也是 ${\Pi }_{\mathcal{H}}\mathcal{F}$的Rademacher复杂度和VC维风格界之间的桥梁.为了说明这一点，我们需要脂肪破碎维度(门德尔松& Vershynin , 2003 ;拉赫林&斯里达兰, 2014)的概念。为了简洁起见，我们将定义和结果留给附录(定理C.19 )，这里我们表明我们的结果在样本复杂度的排序上与Ben - David等( 2010 )一致。
综上所述，我们的理论是对填补本节开头提到的两个空白的大胆尝试。首先，我们对域适应中的多类分类进行了深入分析。其次，我们的界是基于得分函数和保证金损失。第三，作为分布偏移的度量，MDD通过简单地在单个假设空间$\mathcal{F}$上取上确界来定义，使得极小极大优化问题更容易求解。

4. Algorithm

根据以上理论，我们提出了面向领域自适应的对抗表示学习方法。
4 . 1 .极小极大优化问题
回想目标域上的期望误差 ${\mathrm{err}}_Q(f)$由四项之和有界：源域上的经验边界误差${\mathrm{err}}_{\hat{P}}^{(\rho )}(f)$，经验$\mathrm{MDD}{d}_{f,\mathcal{F}}^{(\rho )}(\hat{P},\hat{Q})$，理想误差$\lambda$和复杂度项.我们需要在假设空间$\mathcal{F}$中求解最优分类器f的最小化问题：
$$\underset{f\in \mathcal{F}}{\min }{\mathrm{err}}_{\hat{P}}^{(\rho )}(f)+d_{f,\mathcal{F}}^{(\rho )}(\hat{P},\hat{Q})$$
由于MDD被定义为假设空间$\mathcal{F}$上的上确界，因此最小化边界差异是一个极小极大博弈。由于最大播放器仍然太强，我们引入了一个特征提取器$\psi$使得最小播放器更强。将$\psi$应用于源和目标经验分布，整体优化问题可以写为
$$\begin{array}{c}\underset{f,\psi }{\min }{\mathrm{err}}_{\psi (\hat{P})}^{(\rho )}(f)+\left({\mathrm{disp}}_{\psi (\hat{Q})}^{(\rho )}\left(f^{\ast },f\right)-{\mathrm{disp}}_{\psi (\hat{P})}^{(\rho )}\left(f^{\ast },f\right)\right),\\ f^{\ast }=\underset{f^{\prime }}{\max }\left({\mathrm{disp}}_{\psi (\hat{Q})}^{(\rho )}\left(f^{\prime },f\right)-{\mathrm{disp}}_{\psi (\hat{P})}^{(\rho )}\left(f^{\prime },f\right)\right).\end{array}$$
为了实现基于表示的域适应，我们需要学习新的表示$\psi$使得MDD最小化。
现在我们设计一个对抗学习算法来解决这个问题，通过引入一个与f共享相同假设空间的辅助分类器$f^{\prime }$ 。这在对抗网络中得到了很好的实现，如图1所示。此外，由于保证金损失在实际中很难通过随机梯度下降( SGD )进行优化，我们使用损失函数$L$和$L^{\prime }$的组合来代替保证金损失，这很好地保留了保证金的关键性质。对抗学习中的实际优化问题表述为
$$\begin{array}{c}\underset{\int ,\psi }{\min }\mathcal{E}(\hat{P})+\eta {\mathcal{D}}_{\gamma }(\hat{P},\hat{Q}),\\ \underset{f^{\prime }}{\max }{\mathcal{D}}_{\gamma }(\hat{P},\hat{Q}),\end{array}$$
其中 $\eta$是源误差 $\mathcal{E}(\hat{P})$和$\mathrm{MDD}{\mathcal{D}}_{\gamma }(\hat{P}$ 之间的折中系数，$\hat{Q}),\gamma \triangleq \exp \rho$被设计来获得裕度$\rho$ (在下一小节详述) .具体而言：
$$\begin{array}{rl}\mathcal{E}(\hat{P})& ={\mathbb{E}}_{\left(x^s,y^s\right)\sim \hat{P}}L\left(f\left(\psi \left(x^s\right)\right),y^s\right)\\ \mathcal{D}(\hat{P},\hat{Q})& ={\mathbb{E}}_{x^t\sim \hat{Q}}{L}^{\prime }\left(f^{\prime }\left(\psi \left(x^t\right)\right),f\left(\psi \left(x^t\right)\right)\right)\\ & -\gamma {\mathbb{E}}_{x^s\sim \hat{P}}L\left(f^{\prime }\left(\psi \left(x^s\right)\right),f\left(\psi \left(x^s\right)\right)\right).\end{array}$$
由于差异损失项在f的参数上不可微，为了简单起见，我们直接训练特征提取器$\psi$，通过一个梯度反转层( GRL ) ( Ganin & Lempitsky , 2015)最小化差异损失项。

4.2. Combined Cross-Entropy Loss

如前所述，多类间隔损失或铰链损失会导致随机梯度下降中的梯度消失问题，从而无法进行有效的优化，特别是对于明显依赖梯度传播的表示学习。为了克服这个共同的问题，我们在源和目标上选择不同的损失函数，并使用重新称重来近似MDD。
用$\sigma$表示softmax函数，即对$\mathbf{z}\in {\mathbb{R}}^k$
$${\sigma }_j(\mathbf{z})=\frac{e^{z_j}}{{\sum }_{i=1}^k{e}^{z_i}},\text{ for }j=1,\dots ,k$$
在源域上，将${\mathrm{err}}_{\hat{P}}^{(\rho )}(f)$和${\mathrm{disp}}_{\hat{P}}^{(\rho )}\left(f^{\prime },f\right)$替换为标准交叉熵损失
$$\begin{array}{rl}L\left(f\left(\psi \left(x^s\right)\right),y^s\right)& \triangleq -\log \left[{\sigma }_{y^s}\left(f\left(\psi \left(x^s\right)\right)\right)\right]\\ L\left(f^{\prime }\left(\psi \left(x^s\right)\right),f\left(\psi \left(x^s\right)\right)\right)& \triangleq -\log \left[{\sigma }_{h_f\left(\psi \left(x^s\right)\right)}\left(f^{\prime }\left(\psi \left(x^s\right)\right)\right)\right]\end{array}$$
在目标域上，我们使用了修正的交叉熵损失$L^{\prime }\left(f^{\prime }\left(\psi \left(x^t\right)\right),f\left(\psi \left(x^t\right)\right)\right)\triangleq \log \left[1-{\sigma }_{h_f\left(\psi \left(x^t\right)\right)}\left(f^{\prime }\left(\psi \left(x^t\right)\right)\right)\right]$.
值得注意的是，古德费洛等( 2014 )引入了这种修改，以减轻在执行对抗学习时梯度爆炸或消失的负担。结合上述两项和一个系数$\gamma$，辅助分类器$f^{\prime }$的目标可以表示为
$$\begin{array}{rl}\underset{f^{\prime }}{\max }& \gamma {\mathbb{E}}_{x^s\sim \hat{P}}\log \left[{\sigma }_{h_f\left(\psi \left(x^s\right)\right)}\left(f^{\prime }\left(\psi \left(x^s\right)\right)\right)\right]\\ & +{\mathbb{E}}_{x^t\sim \hat{Q}}\log \left[1-{\sigma }_{h_f\left(\psi \left(x^t\right)\right)}\left(f^{\prime }\left(\psi \left(x^t\right)\right)\right)\right].\end{array}$$
我们将看到，训练特征提取器$\psi$以最小化损失函数( 30 )将导致$\psi (\hat{P})\approx \psi (\hat{Q})$。命题4.1。(非正式)假设对 $f^{\prime }$ 的选择没有限制，$\gamma >1$，损失函数( 30 )的全局最小值为$P=Q$，均衡时${\sigma }_{h_f}\left(f^{\prime }(\cdot )\right)$ 的值为$\gamma /(1+\gamma )$，$f^{\prime }$对应的裕度为$\log \gamma$。
我们将$\gamma =\exp \rho$作为边际因素，解释见附录(定理D.1和D.2)。一般而言，$\gamma$越大，泛化性越好。然而，正如我们在第3节中所解释的，我们不能让它无穷大。事实上，从经验的观点来看，$\rho$的选择只能远远超过理论最优值，因为对一个大的$\gamma$进行SGD可能导致爆炸梯度。总之，γ的选择在我们的方法中是至关重要的，并且在实际应用中，当不遇到爆炸梯度时，我们倾向于选择较大的$\gamma$。

见图1。针对算法实现的对抗网络。

5. Experiments

我们在3个数据集上对所提出的学习方法进行了评估，并与先进的深度域适应方法进行了比较。代码可在github . com / thuml / MDD获得。

5.1. Setup

Office-31 ( Saenko等, 2010)是由亚马逊网站的Amazon、网络摄像头的Webcam和数码单反相机的DSLR三个不同领域的标准域适应数据集，包含31个不平衡类别的4652张图像。
Office- Home (文卡特斯瓦拉等, 2017)是一个更复杂的数据集，包含来自4个视觉上非常不同的领域的15500张图像：艺术图像、剪贴画、产品图像和真实世界图像。
VisDA - 2017 ( Peng et al . , 2017)是一个模拟到真实的数据集，它包含两个截然不同的领域：3D模型的合成渲染和从照片或真实图像数据集中收集的真实。在12类280K图像中，VisDA - 2017的规模给域适应带来了挑战。
我们将我们设计的基于边缘差异度( MDD )的算法与当前最先进的域适应方法：深度适应网络( DAN ) ( Long et al , 2015)、域对抗神经网络( DANN ) ( Ganin et al , 2016)、联合适应网络( JAN ) ( Long等, 2017)、对抗判别域适应( ADDA ) ( Tzeng等, 2017)、生成适应( GTA ) ( Sankaranarayanan et al , 2018)、最大分类器差异度( MCD ) ( Saito等, 2018)和条件域对抗网络( CDAN ) ( Long等, 2018)进行比较。
我们遵循Ganin & Lempitsky ( 2015 )的无监督域适应的常用实验方案；Long等( 2018 )。我们报告了五个独立实验的平均准确率。所有实验均采用重要性加权交叉验证( IWCV )进行超参数的选择。系数$\eta$的渐近值固定为0.1，$\gamma$从 { 2 , 3 , 4 } \{2,3,4\} {2,3,4}中选取，并对同一数据集上的所有任务保持不变。
我们在PyTorch中实现了我们的算法。采用Res Net-50 ( He et al , 2016)作为特征提取器，通过在Image Net ( Russakovsky等, 2014)上预训练的模型进行参数微调。主分类器和辅助分类器均为宽度为1024的2层神经网络。为了优化，我们使用Nesterov动量为0.9的小批量SGD。分类器的学习速率设置为特征提取器的10倍，其值根据Ganin等( 2016 )进行调整。

5.2. Results

在Office - 31上的结果报告在表1中。MDD在6个迁移任务中的5个任务上达到了最先进的精度。值得注意的是，在以前的工作中，特征对齐方法( JAN、CDAN)通常在大到小的任务( A→W , A→D)中表现更好，而像素级自适应方法( GTA )倾向于在小到大的任务( W→A , D→A)中获得更高的准确率。尽管如此，我们的算法在几乎所有任务上都优于这两类方法，显示了其有效性和普适性。表2和表3展示了我们的算法在Office - Home和VisDA - 2017上的准确率，在这里我们取得了显著的性能提升。表中列出的一些方法使用了诸如熵最小化等额外的技术来增强它们的性能。我们的方法具有简单性和性能强度。

5.3. Analyses

在我们的对抗学习算法中，我们合理地使用了组合交叉熵损失，而不是我们理论中的边缘损失和边缘视差差异。需要说明的是，尽管进行了技术上的修改，我们的算法仍然能够很好地减少根据$f^{\prime }$计算的经验MDD：
$${\mathrm{disp}}_{\hat{Q}}^{(\rho )}\left(f^{\prime },f\right)-{\mathrm{disp}}_{\hat{P}}^{(\rho )}\left(f^{\prime },f\right).$$
我们选取$\gamma =1,2,4$进行比较。后两种情况下的期望保证金应达到$\log 2$和$\log 4$，而$\gamma =1$时的保证金没有保证。相应地，我们考察了任务D→A的DD (基于0 - 1损失)、$\log 2-\mathrm{MDD}$和$\log 4-$ MDD ，结果如图2 - 3所示。
首先，我们证明了在没有对抗训练的最小化部分的情况下，公式中的辅助分类器$f^{\prime }$。接近于使得 $\mathcal{F}$上MDD最大的$f^{\prime }$ .我们通过直接使用辅助分类器进行训练来解决这个优化问题，并在3(a)中展示了我们的结果，其中MDD在训练开始后不久就达到了1，这表明我们使用的损失函数可以很好地替代MDD。
接下来，我们考虑极小极大优化问题的平衡点。图2(b)和图2©给出了${\sigma }_{h_f}\circ f^{\prime }$的平均值。可以看出，在最后的训练阶段，${\sigma }_{h_{\rho }}\circ f^{\prime }$与目标上的预测值 $\gamma /(1+\gamma )$( 4.1节)接近，具有较大的裕度。
最后，通过可视化整个数据集每100步计算的DD、$\log 2-\mathrm{MDD}$ 和$\log 4-$ MDD值以及测试精度，可以看出较大的$\gamma$ 会导致较小的MDD和较高的测试精度。尽管梯度饱和存在困难，使用原始MDD损失的结果也具有可比性，如附录(见表E.1)所示。

见表1。非监督域适应( Res Net-50 )在Office - 31上的准确率( % )。

表2 .准确率( % )在Office - Home上进行无监督域适应( ResNet-50 )。

表3 . Visda-2017 ( Resnet-50 )上的准确率( % )。

表4 .不同切缘在Office - 31上的准确率( % )。

见图2。在迁移任务D→A上测试 ${\sigma }_{h_f}\circ f^{\prime }$的准确性和经验值，其中虚线表示$\gamma /(1+\gamma )$。
见图3。通过辅助分类器 $f^{\prime }$计算边缘视差差异( MDD )的经验值。

6. Related Work

领域适应理论。该领域开创性的理论工作之一是Ben - David等( 2007 )。他们提出了$\mathcal{H}\Delta \mathcal{H}$-散度作为传统分布差异(如总变异、KL散度)的替代，克服了有限样本估计的困难。Mansour等( 2009c )考虑了一类满足对称性和次可加性的一般损失函数，发展了关于新提出的差异距离的推广理论。Kuroki等( 2019 )在此背景下做了并行工作，他们引入了一个易于处理的、更精细的$\mathcal{H}\Delta \mathcal{H}$散度对应物，称为S - disc，使用理想源分类器和与( Mansour et al , 2009c)类似的损失函数计算。事实上，这种测量作为一个特例包含在我们的DD中。Mohri & Medina ( 2012 )；Zhang et al . ( 2012 )提出了Y - disc用于部分标记目标数据的领域适应。Cortes & Mohri ( 2014 )；Cortes et al . ( 2015 )进一步通过广义差异提出了领域适应设置中的回归任务理论。关于领域适应的另一类理论工作强调不同分布的假设。张杰等( 2013 )；Gong等( 2016 )从因果的角度解决了这一问题，并提出了广义目标偏移( Generalized Target Shift，GeTarS )情景来代替传统的协变量偏移假设。赫尔马因等人( 2013 )利用领域不一致伪[准]度量的提出了领域适应的PAC - Bayesian理论。
域适应算法。 近年来，基于深度网络的域适应方法取得了巨大的成功。这些工作旨在通过最小化由共享表示学习器提取的源和目标特征的分布之间的一定差异来学习领域不变的表示。Ganin & Lempitsky ( 2015 )结合Ben - David等人( 2010 )的理论和对抗学习(古德费洛等, 2014)的实践，提出了领域对抗神经网络( DANN )。训练一个域判别器来区分源特征和目标特征，训练一个特征提取器来混淆判别器。此后，一系列作品相继出现并取得了明显较好的表现。Tzeng等( 2017 )提出了一种对目标和源数据采用非对称编码的架构。Long等( 2018 )提出了一个利用条件信息进行对抗适应模型的原则性框架。Hoffman等( 2018b )；Sankaranarayanan等人( 2018 )将像素级和特征级对抗学习统一用于域适应。Saito等( 2018 )考虑了分类器而不是特征，通过最大化分类器差异度设计了一种原始的对抗学习方法。

7. Conclusion

在本文中，我们基于新提出的边界视差差异推导了新的泛化边界，并给出了域适应的理论和算法分析。我们的分析对于分析现实世界的领域自适应问题更具有一般性，精心设计的理论推导算法达到了目前最好的结果。