迁移学习——Scatter Component Analysis

《Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization》学习
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE

---

摘要

两个密切相关的框架，域自适应和域泛化，与此类任务有关，其中这些框架之间的唯一区别是未标记目标数据的可用性：域自适应可以利用未标记目标信息，而域泛化不能。
我们提出了散射分量分析（SCA），这是一种快速表示学习算法，可应用于域自适应和域泛化。SCA基于一个简单的几何度量，即散射，它在再生核希尔伯特空间上运行。
SCA找到了一种在最大化类的可分离性、最小化域之间的不匹配和最大化数据的可分离性之间进行权衡的表示；其中每一个都通过分散量化。
SCA的优化问题可以简化为广义特征值问题，从而得到快速精确的解。在基准跨域对象识别数据集上进行的综合实验验证了SCA的性能比几种最先进的算法快得多，并且在域自适应和域泛化方面都提供了最先进的分类精度。我们还表明，在域自适应的情况下，散射可以用来建立理论泛化界。
索引项：领域自适应、领域泛化、特征学习、核心方法、分散性和对象识别

一、介绍

开发对标记稀缺性和数据集偏差具有鲁棒性的学习算法是一个重要而紧迫的问题。
提出了域自适应[10]和域泛化[11]来克服上述问题。在这种情况下，域表示从中提取样本的概率分布，通常等同于数据集。
域自适应的目标是通过对源域的标签进行训练，并在训练期间利用目标域的未标记样本作为辅助信息，在目标域上生成良好的模型
域泛化问题出现在未标记的目标样本不可用，但可以访问多个源域的样本的情况下。
尽管域自适应和域泛化是密切相关的问题，但域自适应算法通常不能直接应用于域泛化，因为它们依赖于目标域中（未标记）样本的可用性。
非常需要开发能够更高效地计算、与域自适应和域生成兼容并提供最先进性能的算法。

1.1目标和目的

我们算法的基本思想是学习表示作为分类器的输入，该分类器对数据集偏差保持不变。直觉上，学习到的表达应包含四个要求：

1. 使用不同标签分离点，
2. 将数据作为一个整体分离（高方差），
3. 不分离共享标签的点，
4. 减少两个或多个域之间的不匹配。

本文的主要贡献如下：

1. 第一个贡献是散射，这是一个简单的几何函数，量化了分布距其质心的均方距离。我们表明，上述四项要求可以通过离散度进行编码，并与线性判别分析、主成分分析、最大均值差异（MMD）和分布方差建立关系
2. 第二个贡献是一种快速的基于分散的特征学习算法，可应用于领域自适应和领域泛化问题，即分散组件分析（SCA），见算法1。据我们所知，SCA是第一个适用于一系列领域自适应和泛化任务的多用途算法。SCA优化简化为广义特征问题，在时间复杂度方面允许与核PCA[26]相同的快速精确解。
3. 第三个贡献是推导了域自适应情况下SCA的理论界。我们的理论分析表明，域分散控制着SCA的泛化性能。我们证明了在一定条件下，域散射控制离散距离。先前已经证明，离散距离可以控制域自适应算法的泛化性能

我们进行了广泛的实验，以评估SCA在域适配和域泛化设置中相对于一大套备选方案的性能。我们发现，在一系列视觉对象跨域识别中，SCA的执行速度远远快于现有技术，在准确性方面具有竞争力或更好的性能

1.2文章的组织

第2节描述了问题的定义，并回顾了领域自适应和领域泛化方面的现有工作。
第3节和第4节描述了我们提出的工具，以及相应的特征学习算法，即散射组件分析。
第5节介绍了SCA的理论域自适应范围。
第6节和第7节提供了综合评估结果和分析。
最后，第8节总结了本文。

二、背景与文献综述

设 S = { x i , y i } i = 1 n ∼ P S=\{x_i,y_i\}^n_{i=1}\sim\mathbb{P} S={xi​,yi​}i=1n​∼P可以是来自域的样本。对于相应的经验分布$\hat{\mathbb{P}}(x,y)=\frac{1}{n}{\sum }_{i=1}^n{\delta }_{(x_i,y_i)}(x,y)$，使用符号$\hat{\mathbb{P}}$是很方便的；其中d是Dirac delta。我们定义域自适应和域泛化如下,
定义1（域适配）
设${\mathbb{P}}^s$和${\mathbb{P}}^t$分别为源域和目标域，其中${\mathbb{P}}^s\ne {\mathbb{P}}^t$。
从两个域中抽取样本，表示为 S s = { x i s , y i s } i = 1 n s ∼ P s S^s=\{x^s_i,y^s_i\}^{n_s}_{i=1}\sim\mathbb{P}^s Ss={xis​,yis​}i=1ns​​∼Ps和 S u t = { x i t } i = 1 n t ∼ P X t S^t_u=\{x^t_i\}^{n_t}_{i=1}\sim\mathbb{P}^t_X Sut​={xit​}i=1nt​​∼PXt​。域自适应的任务是学习良好的标记函数$f_{{\mathbb{P}}^t}$：$X\to Y$给出$S^s$和$S_u^t$作为训练示例。
定义2（域泛化）
Δ = { P 1 , … , P m } \Delta=\{\mathbb{P}^1,\dots,\mathbb{P}^m\} Δ={P1,…,Pm}可以是m个源域的集合，${\mathbb{P}}^t\notin \Delta$是目标域。表示为 S d = { x i d , y i d } i = 1 n d ∼ P d S^d=\{x^d_i,y^d_i\}^{n_d}_{i=1}\sim\mathbb{P}^d Sd={xid​,yid​}i=1nd​​∼Pd样本取自m个源域。域泛化的任务是学习标记函数$f_{{\mathbb{P}}^t}$：$X\to Y$给出$S^d,\forall d=1,\dots ,m$作为训练示例。
在实践中，域泛化要求$m>1$才能正常工作，尽管$m=1$可能不会违反定义2。请注意，如果$m=2$和${\mathbb{P}}_X^t\in \Delta$，则域泛化可以精确地简化为域自适应。

2.1域自适应

我们将域自适应算法分为三类：

1. 分类器自适应方法
2. 选择/重加权方法
3. 基于特征变换的方法。

分类器自适应方法旨在通过利用源域或辅助域的知识，在目标域上学习良好的自适应分类器。

重新加权（选择方法）通过重新加权（选择）与目标实例“接近”的源实例来减少样本偏差。选择可被视为重新加权的“硬”版本。以协变量转移的名义研究了这一基本思想。

基于特征变换的方法可能是领域自适应中最流行的方法。

一些工作已经解决了域自适应的近似正确的理论界限。

2.2领域泛化

Blanchard等人[11]首先研究了这个问题，并提出了一种增强的支持向量机，将经验边缘分布编码到内核中，用于解决流式细胞术的自动选通问题。
领域泛化算法也已用于对象识别。
最近，提出了一种基于自动编码器的算法，通过多任务学习提取域不变特征
尽管域自适应和域泛化具有相同的目标（减少数据集偏差），但这些方法通常互不兼容-域自适应方法不能直接应用于域泛化，反之亦然
据我们所知，只有LRE-SVM可以应用于域自适应和域泛化。
DICA、撤销偏差或UML中的域泛化算法公式通常不允许考虑来自目标域的未标记数据。
此外，一些最先进的领域自适应和领域泛化算法，如TJM和LRE-SVM，需要解决计算复杂的优化问题，这会导致较高的时间上的复杂性。
在这项工作中，我们建立了一种克服上述问题的快速算法。

三、散度

我们在一个特征空间中工作，该空间是一个再生核希尔伯特空间（RKHS）$\mathcal{H}$。主要动机是将原始输入转换到$\mathcal{H}$上，$\mathcal{H}$是高维或可能是无限维空间，希望新特征是线性可分离的。RKHS最重要的特性可能是通过核技巧允许对$\mathcal{H}$进行计算上可行的转换。
定义3（希尔伯特空间中的再生核）。
设$\mathcal{X}$为任意集，和 H ⊂ { f : X → R } \mathcal H\subset\{f:\mathcal X\rightarrow\mathbb R\} H⊂{f:X→R}是$\mathcal{X}$上的Hilbert函数空间。
定义评估函数$L_x:\mathcal{H}\to \mathbb{R}$，通过$L_x[h]:=h(x),\forall h\in \mathcal{H}$
如果函数$L_x$总是有界的，则$\mathcal{H}$是再生核Hilbert空间：
对于所有的$x\in \mathcal{X}$存在一个$\lambda >0$
$$|L_x[h]|=|h(x)|\le \lambda \Vert h{\Vert }_{\mathcal{H}}\text{\hspace{1em}(1)}$$
因此，存在函数$\varphi :\mathcal{X}\to \mathcal{H}$（称为规范特征映射）满足：
$$|L_x[h]|=⟨h,\varphi (x)⟩=h(x)对所有的h\in \mathcal{H},x\in \mathcal{X}\text{\hspace{1em}(2)}$$
因此，对于每个$t\in \mathcal{X}$，可以写入
$$⟨\varphi (t),\varphi (x)⟩=:\kappa (t,x)$$
函数$\kappa :\mathcal{X}\times \mathcal{X}\to \mathbb{R}$被称为再生内核
表达式（1）是确保内积存在以及在域中的每个点计算H中每个函数的能力的最弱条件，而（2）在实践中提供了更有用的概念。
在引入散射之前，可以方便地首先使用均值映射将发送域表示为RKHS中的点
定义4（均值映射）。
假设$\mathcal{X}$配备了一个内核，$\mathcal{H}$是具有特征映射的相应RKHS，$\varphi :\mathcal{X}\to \mathcal{H}$
设${\Delta }_{\mathcal{X}}$表示$\mathcal{X}$上的概率分布集。均值映射将$\mathcal{X}$上的分布取为$\mathcal{H}$中的点：
$$\mu :{\Delta }_{\mathcal{X}}\to \mathcal{H}：\mathbb{P}\mapsto {\mathbb{E}}_{x\sim \mathbb{P}}[\varphi (x)]=:{\mu }_{\mathbb{P}}$$
几何上，平均图是$\varphi$下分布图像的质心。我们将散射定义为图像中围绕其质心的点的方差：
定义5（散度）
分布$\mathbb{P}$在$\mathcal{X}$上相对于$\varphi$的散射为：
$${\Psi }_{\varphi }(\mathbb{P}):={\mathbb{E}}_{x\sim \mathbb{P}}\left[\Vert {\mu }_{\mathbb{P}}-\varphi (x){\Vert }_{\mathcal{H}}^2\right]$$
其中$\Vert \cdot {\Vert }_{\mathcal{H}}$是$\mathcal{H}$上的范数。
域的散射不能直接计算；相反，它是根据观察结果估计的。有限观测集 { x 1 , … , x n } \{x_1,\dots,x_n\} {x1​,…,xn​}的散射；相对于经验分布计算
$$\hat{\mathbb{P}}(x):=\frac{1}{n}\sum _{i=1}^n{\delta }_{x_i}(x)其中{\delta }_{x_i}(x)=\{\begin{array}{ll}1& \text{if}{x}_i=x\\ 0& \text{else.}\end{array}$$
我们提供了一个定理，说明了真实散射和有限样本估计之间的差异如何随着样本大小而减小。
定理1（散射界）。
假设$\mathbb{P}$是大小为n的所有样本的真实分布，$\hat{\mathbb{P}}$是其经验分布。
进一步假设$\Vert \varphi (x){\Vert }^2\le M$对于所有$x\in \mathcal{X}$。然后，$probability\ge 1-\delta$，
$$|{\Psi }_{\varphi }(\mathbb{P})-{\Psi }_{\varphi }(\hat{\mathbb{P}})|\le M\sqrt{\frac{2log(\frac{2}{\delta })}{n}}$$
注意，对于$M$的较低值和$n$的较高值，边界的右侧位置较小。此外，如果$\kappa$是高斯核的形式，则边界仅取决于$n$，因为$M=1$
如果输入空间是向量空间，且$\varphi$是恒等式，则直接如下：
引理2（总方差为散布）
p维点集的散布（矩阵形式）$\mathrm{X}=[{\mathrm{x}}_1,\dots ,{\mathrm{x}}_n{]}^T\in {\mathbb{R}}^{n\times p}$相对于单位映射$\varphi (\mathrm{x}):=\mathrm{x}$，是总方差：
$$\Psi (\mathrm{X})=\frac{1}{n}Tr(\mathrm{X}-\bar{\mathrm{X}}{)}^T(\mathrm{X}-\bar{\mathrm{X}})=\text{Tr Cov}(\mathrm{X})$$
其中$Tr(\cdot )$表示迹操作，$\bar{\mathrm{X}}=[\bar{\mathrm{x}},\dots ,\bar{\mathrm{x}}{]}^T$其中$\bar{\mathrm{x}}={\sum }_{i=1}^n\overline{{\mathrm{x}}_i}$

我们利用分散来制定一种称为分散组件分析的特征学习算法。具体而言，分散组件分析量化了SCA中所需的需求，以开发域自适应和泛化的有效解决方案，这将在下一节中描述。

四、散射成分分析

SCA的目标是有效地学习一种表示法，以改进域自适应和域泛化。该策略是将观测值转换为特征空间中的点配置，从而减少域失配。然后，SCA找到问题的表示形式（即特征空间的线性变换）

1. 源域和目标域相似
2. 具有相同标签的元素相似
3. 具有不同标签的元素被很好地分离
4. 整个数据的方差被最大化。

每个需求都可以通过导致四种结果的分散来量化：

1. 域分散，
2. 类间分散
3. 类内分散
4. 总分散

我们还将看到，通过修改输入域的配置，SCA可以轻松切换到域自适应或域泛化。

4.1总散射

给定m个域${\mathbb{P}}_X^1,\dots ,{\mathbb{P}}_X^m在\mathcal{X}$，我们将总域定义为平均值${\bar{\mathbb{P}}}_X=\frac{1}{m}{\sum }_{d=1}^m{\mathbb{P}}_X^d$ 。总散射定义为
$$\text{total scatter}={\Psi }_{\varphi }({\bar{\mathbb{P}}}_X)\text{\hspace{1em}(3)}$$
值得强调的是，该定义是一般性的，因为它涵盖了域适应（$m=2$，其中一个是目标域）和域泛化（$m>2$）。
根据以下数据估计总散射，设$X=[x_1,\dots ,x_n{]}^T\in {\mathbb{R}}^{n\times p}$是来自所有$m$个域的未标记样本的矩阵($n={\sum }_{d=1}^m{n}_d$，其中$n_d$是第d维域中的示例数)。
给定一个特征映射$\varphi :{\mathbb{R}}^p\to \mathcal{H}$对应核$\kappa$，定义一组按列向量排列的函数$\Phi =[\varphi (x_1),\dots ,\varphi (x_n){]}^T$，取 { ϕ ( x i ) } i = 1 n \{\phi(x_i)\}^n_{i=1} {ϕ(xi​)}i=1n​为中心，减去平均值，协方差矩阵为$\text{Cov}(\Phi )=\frac{1}{n}{\Phi }^T\Phi$。由引理2,
$${\Psi }_{\varphi }({\widehat{\bar{\mathbb{P}}}}_X)=\text{Tr Cov}(\Phi )\text{\hspace{1em}(4)}$$
我们感兴趣的是对有限相关子空间应用线性变换后的总散点$W:\mathcal{H}\to {\mathbb{R}}^k$，避免直接计算$\varphi :\mathcal{X}\to \mathcal{H}$，这可能是昂贵的或不可撤消的，我们使用内核技巧。
让$Z=\Phi W\in {\mathbb{R}}^{n\times k}$是n个变换后的特征向量，$[K{]}_{i,j}=[\Phi {\Phi }^T{]}_{i,j}=[\kappa (x_i,x_j)]$，确定了$B\in {\mathbb{R}}^{n\times k}$之后使$W={\Phi }^{T}B$，变换后的散点总数为
$${\Psi }_{\mathbf{B}\circ \varphi }\left({\widehat{\overline{\mathbb{P}}}}_X\right)=\mathrm{Tr}\left(\frac{1}{n}{\mathbf{B}}^{\top }\mathbf{KKB}\right)\text{\hspace{1em}(5)}$$
我们注意到，在我们的符号中，核主成分分析(KPCA)对应于优化问题
$$\max {\Psi }_{\mathbf{B}\circ \varphi }\left({\widehat{\overline{\mathbb{P}}}}_X\right)\text{\hspace{1em}(6)}$$

4.2域散射

假设已知m个定义域${\mathbb{P}}_X^1,\dots ,{\mathbb{P}}_X^m$在$\mathcal{X}$，我们可以把集合 { μ P X 1 , … , μ P X m } ⊂ H \{\mu_{\mathbb P^1_X},\dots,\mu_{\mathbb P^m_X}\}\subset\mathcal H {μPX1​​,…,μPXm​​}⊂H作为一个来自某些区域潜在分布的样本，将样本配置为经验分布，计算散点相对于H产率域散点上的恒等图:
Ψ ( { μ P X 1 , … , μ P X m } ) = 1 m ∑ i = 1 m ∥ μ ˉ − μ P i ∥ 2 (7) \Psi(\{\mu_{\mathbb P^1_X},\dots,\mu_{\mathbb P^m_X}\})=\frac{1}{m}\sum^m_{i=1}\|\bar\mu-\mu_{\mathbb P^i}\|^2\tag{7} Ψ({μPX1​​,…,μPXm​​})=m1​i=1∑m​∥μˉ​−μPi​∥2(7)
其中$\bar{\mu }=\frac{1}{m}{\sum }_{i=1}^m{\mu }_{{\mathbb{P}}^i}$。注意，域散射与[19]中引入的分布方差一致。在一些域适应算法中，域散射与最大均值差异也有密切关系。
定义6:
F设为函数$f:\mathcal{X}\to \mathbb{R}$的集合，区域$\mathbb{P}$和$\mathbb{Q}$之间的最大均值差异为
$$MM{D}_{\mathcal{F}}[\mathbb{P},\mathbb{Q}]:=\underset{f\in \mathcal{F}}{\sup }\left({\mathbb{E}}_{\mathbb{P}}[f(x)]-{\mathbb{E}}_{\mathbb{Q}}[f(x)]\right)$$
MMD从函数类F的角度衡量两个域彼此相似的程度。以下定理将区域散点与给定的两个域的MMD联系起来，其中感兴趣的情况是特征空间上的有界线性函数:
引理3(散射恢复MMD)
域$\mathbb{P}$和$\mathbb{Q}$在$\mathcal{X}$上的散度为其(平方)最大均值差异:
Ψ ( { μ P , μ Q } ) = 1 4 M M D F 2 [ P , Q ] \Psi(\{\mu_{\mathbb P},\mu_{\mathbb Q}\})=\frac{1}{4}MMD^2_{\mathcal F}[\mathbb P,\mathbb Q] Ψ({μP​,μQ​})=41​MMDF2​[P,Q]
其中 F = { f : X → R ∣ f 是线性的，并且 ∥ f ∥ F ≤ 1 } \mathcal F=\{f:\mathcal X\rightarrow\mathbb R|f是线性的，并且\|f\|_{\mathcal F}\le 1\} F={f:X→R∣f是线性的，并且∥f∥F​≤1}
特别地，如果$\varphi$是由$\mathcal{X}$上的特征核诱导的，那么 Ψ ( { μ P , μ Q } ) = 0 \Psi(\{\mu_{\mathbb P},\mu_{\mathbb Q}\})=0 Ψ({μP​,μQ​})=0当且仅当$\mathbb{P}=\mathbb{Q}$。
请注意，该定理涉及两级概率分布:

1. $\mathcal{X}$上的区域$\mathbb{P}$和$\mathbb{Q}$
2. $\mathcal{F}$上的经验分布将$p=\frac{1}{2}$的概率分配给${\mu }_{\mathbb{P}}$和${\mu }_{\mathbb{Q}}$点，$p=0$分配给其他点。

根据定义5，
Ψ ( { μ P , μ Q } ) = 1 2 ∥ μ ˉ − μ P ∥ F 2 + 1 2 ∥ μ ˉ − μ Q ∥ F 2 = 1 4 ∥ μ P − μ Q ∥ F 2 \Psi(\{\mu_{\mathbb P},\mu_{\mathbb Q}\})=\frac{1}{2}\|\bar\mu-\mu_{\mathbb P}\|^2_{\mathcal F}+\frac{1}{2}\|\bar\mu-\mu_{\mathbb Q}\|^2_{\mathcal F}=\frac{1}{4}\|\mu_{\mathbb P}-\mu_{\mathbb Q}\|^2_{\mathcal F} Ψ({μP​,μQ​})=21​∥μˉ​−μP​∥F2​+21​∥μˉ​−μQ​∥F2​=41​∥μP​−μQ​∥F2​
引理3还告诉我们，如果X上的核是特征的，则域散射是一个有效的度量。特征核最重要的例子是高斯RBF核，它是下面理论结果和实验中使用的核。我们还注意到，MMD可以由[66]中提供的有界观测数据估计，这与定理1类似。
在${\mathbb{R}}^k$中，对变换后的特征空间的域散度估计如下。
假设有m个样本 S u d = { x i d } i = 1 n d ∼ P X d S^d_u=\{\mathbf x^d_i\}^{n_d}_{i=1}\sim\mathbb P^d_{\mathbf X} Sud​={xid​}i=1nd​​∼PXd​回想一下,$\mathbf{Z}=\mathbf{\Phi W}={\mathbf{K}}^T\mathbf{B}$，式中$\mathbf{Z}=[{\mathbf{z}}_1,\dots ,{\mathbf{z}}_n{]}^T$包含来自所有域的投影样本:${\mathbf{z}}_i={\mathbf{W}}^T\varphi ({\mathbf{x}}_i)$和
$$\mathbf{K}=\left[\begin{array}{ccc}{\mathbf{K}}^{11}& \cdots & {\mathbf{K}}^{1m}\\ ⋮& \ddots & ⋮\\ {\mathbf{K}}^{m1}& \cdots & {\mathbf{K}}^{mm}\end{array}\right]\in {\mathbb{R}}^{n\times n}\text{\hspace{1em}(8)}$$
是对应的核矩阵，其中$[{\mathbf{K}}^{kl}{]}_{i,j}=\kappa ({\mathbf{x}}_i^k,{\mathbf{x}}_j^l)$，通过代数运算，域散射是
Ψ B ( { μ P ^ X d } d = 1 m ) = Tr ( B T K L K B ) (9) \Psi_{\mathbf B}(\{\mu_{\hat{\mathbb P}^d_{X}}\}^m_{d=1})=\text{Tr}(\mathbf B^T\mathbf {KLKB})\tag{9} ΨB​({μP^Xd​​}d=1m​)=Tr(BTKLKB)(9)
其中$[{\mathbf{L}}^{kl}{]}_{i,j}=\frac{m-1}{m^2{n}_k^2}$的系数矩阵是$\mathbf{L}\in {\mathbb{R}}^{n\times n}$如果$k=l$和$-\frac{1}{m^2{n}_k{n}_l}$否则。

4.3类散射

对于每一类 k ∈ { 1 , … , C } k\in\{1,\dots,C\} k∈{1,…,C}，让${\mathbb{P}}_{X|k}^l$表示$Y=k$时总标记域${\mathbb{P}}_{XY}^l=\frac{1}{q}{\sum }_{j=1}^q{\mathbb{P}}_{XY}^j$在X上的条件分布(标记域的数量q不一定等于源域的数量m)。
我们将类内散射和类间散射定义为
$$\underset{\text{within-class- }k\text{ scatter }}{\underbrace{{\Psi }_{\varphi }\left({\mathbb{P}}_{X\mid k}^l\right)}}\text{ and }\underset{\text{between-classcatter }}{\underbrace{\Psi \left(\left\{{\mu }_{{\mathbb{P}}_{X\mid k=1}^l},\dots ,{\mu }_{{\mathbb{P}}_{X\mid k=C}^l}\right\}\right)}}\text{. }\text{\hspace{1em}(10)}$$
类散射估计如下。
让${\mathbf{S}}_k^w=(\varphi ({\mathbf{x}}_j){)}_{{\mathbf{x}}_j\in k}$表示类k中源样本的$n_k$元组。
${\mathbf{S}}_k^w$的质心为${\mu }_k=\frac{1}{n_k}{\sum }_{{\mathbf{x}}_i\in k}\varphi ({\mathbf{x}}_i)$
此外，让${\mathbf{S}}^b=({\mu }_1,\dots ,{\mu }_{|C|})$表示所有类质心的n元组，其中质心k在${\mathbf{S}}^b$中出现$n_k$次。则${\mathbf{S}}^b$的质心为源域质心:$\frac{1}{n}{\sum }_{k=1}^{|c|}{n}_k{\mu }_k$由此可知，类内散度为
$${\Psi }_{\varphi }\left({\hat{\mathbb{P}}}_{X\mid y_k}^l\right)=\text{Tr}\left(\sum _{j=1}^{n_k}(\varphi (\mathbf{x}{)}_{jk}-{\mu }_k)(\varphi (\mathbf{x}{)}_{jk}-{\mu }_k{)}^T\right)$$
类间的散度是
Ψ ( { μ P ^ X ∣ y k l } k = 1 C ) = Tr ( n k ( μ k − μ ˉ ) ( μ k − μ ˉ ) T ) \Psi\left(\{\mu_{\hat{\mathbb P}^l_{X \mid y_k}}\}^C_{k=1}\right)=\text{Tr}\left(n_k(\mu_k-\bar{\mu})(\mu_k-\bar{\mu})^T\right) Ψ({μP^X∣yk​l​​}k=1C​)=Tr(nk​(μk​−μˉ​)(μk​−μˉ​)T)
上述方程的右边是类内和类间散点[24]的经典定义。因此经典的线性判别式是散射比
Fisher’s linear discriminant = Ψ ( { μ P ^ X ∣ y k l } k = 1 C ) ∑ k = 1 C Ψ ϕ ( P ^ X ∣ y k l ) \text{Fisher's linear discriminant}=\frac{\Psi\left(\{\mu_{\hat{\mathbb P}^l_{X \mid y_k}}\}^C_{k=1}\right)}{\sum^C_{k=1}\Psi_{\phi}\left(\hat{\mathbb{P}}_{X \mid y_k}^{l}\right)} Fisher’s linear discriminant=∑k=1C​Ψϕ​(P^X∣yk​l​)Ψ({μP^X∣yk​l​​}k=1C​)​
给定一个线性变换$\mathbf{W}:\mathcal{H}\to {\mathbb{R}}^k$由引理2可知，类在投影特征空间$\tilde{H}$中的散射为
Ψ B ( { μ P ^ X ∣ y k l } k = 1 C ) = Tr ( W T Cov ( S b ) W ) = Tr ( B T P s B ) (11) \Psi_{\mathbf B}\left(\{\mu_{\hat{\mathbb P}^l_{X \mid y_k}}\}^C_{k=1}\right)=\text{Tr}(\mathbf W^T\text{Cov}(\mathbf S^b)\mathbf W)\\ =\text{Tr}(\mathbf B^T\mathbf{P}_s\mathbf B)\tag{11} ΨB​({μP^X∣yk​l​​}k=1C​)=Tr(WTCov(Sb)W)=Tr(BTPs​B)(11)
$$\begin{gathered} \sum _{k=1}^C{\Psi }_{\mathbf{B}\circ \varphi }\left({\hat{\mathbb{P}}}_{X\mid y_k}^s\right)=\sum _{k=1}^C\text{Tr}({\mathbf{W}}^T\text{Cov}({\mathbf{S}}_k^w)\mathbf{W}) \\ =\text{Tr}({\mathbf{B}}^T{\mathbf{Q}}_s\mathbf{B})\text{\hspace{1em}(12)} \end{gathered}$$
$${\mathbf{P}}_s=\sum _{k=1}^C{n}_k({\mathbf{m}}_k-\bar{\mathbf{m}})({\mathbf{m}}_k-\bar{\mathbf{m}}{)}^T\text{\hspace{1em}(13)}$$
$${\mathbf{Q}}_s=\sum _{k=1}^C{\mathbf{K}}_k{\mathbf{H}}_k{\mathbf{K}}_k^T\text{\hspace{1em}(14)}$$
其中${\mathbf{m}}_k=\frac{1}{n_k}{\sum }_{j=1}^{n_k}\kappa (\cdot ,{\mathbf{x}}_{jk}),\bar{\mathbf{m}}=\frac{1}{n}{\sum }_{j=1}^n\kappa (\cdot ,{\mathbf{x}}_j),[{\mathbf{K}}_k{]}_{ij}=[\kappa ({\mathbf{x}}_{ik},{\mathbf{x}}_{jk})]$和中心矩阵${\mathbf{H}}_k={\mathbf{I}}_{n_k}-\frac{1}{n_k}{1}_{n_k}{1}_{n_k}^T$,其中${\mathbf{I}}_{n_k}$表示$n_k\times n_k$单位矩阵，$1_{n_k}\in {\mathbb{R}}^{n_k}$表示1的向量。

4.4算法

这里，我们通过合并上述四个量来制定SCA的学习算法。SCA的目标是通过解决以下表达式形式的优化问题来寻求一种表示
$$\sup \frac{\text{{total scatter}+{between-class scatter}}}{\text{{domain scatter}+{within-class scatter}}}\text{\hspace{1em}(15)}$$
使用(5)，(9)，(11)，和(12)，可以更详细地指定上面的表达式:
arg max ⁡ B Ψ B ∘ ϕ ( P ‾ ^ X ) + Ψ B ( { μ P ^ X ∣ y k l } k = 1 C ) Ψ B ( { μ P ^ X d } d = 1 m ) + ∑ k = 1 C Ψ B ∘ ϕ ( P ^ X ∣ y k s ) (16) \argmax_{\mathbf B}\frac{\Psi_{\mathbf{B} \circ \phi}\left(\hat{\overline{\mathbb{P}}}_{X}\right)+\Psi_{\mathbf B}\left(\{\mu_{\hat{\mathbb P}^l_{X \mid y_k}}\}^C_{k=1}\right)}{\Psi_{\mathbf B}(\{\mu_{\hat{\mathbb P}^d_{X}}\}^m_{d=1})+\sum^C_{k=1}\Psi_{\mathbf B\circ\phi}\left(\hat{\mathbb{P}}_{X \mid y_k}^{s}\right)}\tag{16} Bargmax​ΨB​({μP^Xd​​}d=1m​)+∑k=1C​ΨB∘ϕ​(P^X∣yk​s​)ΨB∘ϕ​(P^X​)+ΨB​({μP^X∣yk​l​​}k=1C​)​(16)
分子最大化可以鼓励SCA保持数据的总体可变性和类的可分离性。
最小化分母可以鼓励SCA找到源和目标域相似的表示形式，并且共享一个标签的源示例也相似。
目标函数。我们用三种方法重新构造(16)。首先，我们用线性代数来表示它。其次，我们插入超参数来控制散射之间的权衡，因为在特定情况下，一个散射量可能比其他散射量更重要。第三，我们施加${\mathbf{W}}^T\mathbf{W}={\mathbf{B}}^T\mathbf{KB}$很小的约束来控制解决方案的规模。
明确地，SCA找到一个投影矩阵$\mathbf{B}=[{\mathbf{b}}_1，{\mathbf{b}}_2，\dots ,{\mathbf{b}}_k]$解决了约束优化问题
$$\underset{\mathbf{B}\in {\mathbb{R}}^{n\times k}}{\mathrm{argmax}}\frac{\text{Tr}({\mathbf{B}}^T(\frac{1-\beta }{n}\mathbf{KK}+\beta \mathbf{P})\mathbf{B})}{\text{Tr}({\mathbf{B}}^T(\delta \mathbf{KLK}+\mathbf{Q}+\mathbf{K})\mathbf{B})}\text{\hspace{1em}(17)}$$
其中
$$\mathbf{P}=\left[\begin{array}{cc}{\mathbf{P}}_s& 0_{n_s\times n_t}\\ 0_{n_t\times n_s}& 0_{n_t\times n_t}\end{array}\right],\mathbf{Q}=\left[\begin{array}{cc}{\mathbf{Q}}_s& 0_{n_s\times n_t}\\ 0_{n_t\times n_s}& 0_{n_t\times n_t}\end{array}\right]$$
和$\beta ,\delta >0$分别为控制总散点、类间散点和域散点的权衡参数。
注意，上述优化对于缩放$\mathbf{B}\mapsto \alpha \mathbf{B}$是不变的。因此，优化(17)可以改写为
$$\begin{gathered} \underset{\mathbf{B}\in {\mathbb{R}}^{n\times k}}{\mathrm{argmax}}\text{Tr}\left({\mathbf{B}}^T\left(\frac{1-\beta }{n}\mathbf{KK}+\beta \mathbf{P}\right)\mathbf{B}\right) \\ \text{s.t. Tr}({\mathbf{B}}^T(\delta \mathbf{KLK}+\mathbf{Q}+\mathbf{K})\mathbf{B})=1\text{\hspace{1em}(18)} \end{gathered}$$
得到拉格朗日量
$$\begin{gathered} J(\mathbf{B})=\text{Tr}\left({\mathbf{B}}^T\left(\frac{1-\beta }{n}\mathbf{KK}+\beta \mathbf{P}\right)\mathbf{B}\right) \\ -\text{Tr}(({\mathbf{B}}^T(\delta \mathbf{KLK}+\mathbf{Q}+\mathbf{K})\mathbf{B}-{\mathbf{I}}_k)\Lambda )\text{\hspace{1em}(19)} \end{gathered}$$
为求解(17)，设一阶导数$\frac{\partial J(\mathbf{B})}{\partial \mathbf{B}}=0$，导出广义特征问题
$$\left(\frac{1-\beta }{n}\mathbf{KK}+\beta \mathbf{P}\right){\mathbf{B}}^{\ast }=(\delta \mathbf{KLK}+\mathbf{Q}+\mathbf{K}){\mathbf{B}}^{\ast }\Lambda \text{\hspace{1em}(20)}$$
其中$\Lambda =\text{diag}({\lambda }_1,\dots ,{\lambda }_k)$k是前导特征值，$\mathbf{B}=[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_k]$包含相应的特征向量，算法1提供了SCA的完整摘要。

4.5与其他方法的关系

SCA与许多特性学习和领域适应方法密切相关。
通过(19)中的$\beta =\delta =0$和$\mathbf{Q}=0$的超参数恢复KPCA。设置$\beta =1$和$\delta =0$恢复KFD (Kernel Fisher Discriminant)方法[67]。
具有线性核的KFD等价于Fisher的线性判别法，这是[33]中提出的目标检测领域自适应方法的基础。
设置$\beta =0$和$\mathbf{Q}=0$(即忽略类分离)，就产生了一种新的算法:与TCA密切相关的无监督散射成分分析(unsupervised Scatter Component Analysis, uSCA)。两种算法之间的区别是，TCA约束总方差和正则化变换，而uSCA权衡总方差和约束变换(回想一下，${\mathbf{W}}^T\mathbf{W}$应该很小)的动机是定理1。事实证明，uSCA在领域适配方面一贯优于TCA
从uSCA(17)中从分母中去掉${\mathbf{B}}^T\mathbf{KB}$项，得到TCA[45]。TCA的半监督扩展SSTCA与SCA存在显著差异。SSTCA没有将类内和类间的分散合并到目标函数中，而是合并了一个派生自希尔伯特-施密特独立准则的项，该项最大限度地提高了标签上嵌入的依赖性。
在两个域[19]的情况下，uSCA本质上等价于无监督域不变成分分析(uDICA)。然而，对于SSTCA，受监督的DICA通过中心子空间的概念合并了与SCA不同的标签信息。特别是有监督的DICA要求所有的数据点都有标签，所以在我们的实验中不能应用。

4.6计算复杂度

计算矩阵K、L、P和Q需要$O(n^2)$(算法1的第一行)。
因此，在解决特征分解问题(第2行)后，SCA的总复杂度为$O(k{n}^2)$，或n的二次元。这种复杂度与KPCA和Transfer Component Analysis类似
与之前最先进的目标识别领域适应算法——转移联合匹配[15]相比，TJM采用交替特征分解过程，其中需要进行T迭代。使用我们的符号，TJM的复杂性是$O(Tk{n}^2)$，

4.7超参数设置

在第4节中描述的SCA公式有四个超参数:

1. 核的选择
2. 子空间基数k
3. 类间和总散射折衷$\beta$
4. 域散射$\delta$

我们处理这个问题的策略是减少可调超参数的数量
对于内核的选择，我们选择了RBF内核$\text{exp}(\frac{-\Vert \mathbf{a}-\mathbf{b}{\Vert }^2}{{\sigma }^2}),\forall \mathbf{a},\mathbf{b}\in \mathcal{X}$其中核带宽$\sigma$被解析地设置为以下聚合域中样本之间的中值距离
$$\sigma =\mathrm{median}\left(\Vert \mathbf{a}-\mathbf{b}{\Vert }_2^2\right),\forall \mathbf{a},\mathbf{b}\in S^s\cup S^t\text{\hspace{1em}(21)}$$
对于域适应，$\delta$固定为1。因此，只有两个超参数是可调的:$k$和$\beta$。对于域泛化，$\beta$设为1，即消除总的散点，$\delta$被允许调优，可调超参数的数量保持不变。
该配置基于经验观察，设置$0<\beta <1$并不比设置$\beta =1$更好(如果不是更差的话)，在域泛化案例的交叉验证和测试性能方面。在所有评估中，我们使用源标记数据进行5次交叉验证，以找到最优k和$\beta$。我们发现，该策略足以为领域适应和泛化情况产生良好的SCA模型。

五、自适应性能分析

我们推导出一个域自适应界，显示了MMD在平方损失$l(y,y^{\prime })=(y-y^{\prime }{)}^2$情况下如何控制泛化性能。其主要思想是将MMD(即域散射)纳入差异距离[27]的适应界中。在[19]中根据域散射给出了域泛化的泛化界，见Remark 1。

让 Hyp ⁡ : = { h : X → Y } \operatorname{Hyp}:=\{h:\mathcal X\rightarrow\mathcal Y\} Hyp:={h:X→Y}表示从X到Y的一个假设函数类，其中X是一个紧集。给定一个定义在标签对上的损失函数$l:\mathcal{Y}\times \mathcal{Y}\to {\mathbb{R}}_{+}$和分布$\mathbb{D}$在$\mathcal{X}$，设${\mathcal{L}}_{\mathbb{D}}\left(h,h^{\prime }\right)={\mathbb{E}}_{x\sim \mathbb{D}}[\ell (h(x),h^{\prime }(x))]$表示任意两个假设$h,h^{\prime }\in \mathrm{Hyp}$的预期损失;我们考虑假设集$\mathrm{Hyp}$是RKHS$\mathcal{H}$的子集的情况。
我们首先引入差异距离，${\mathrm{disc}}_{Hyp}(\mathbb{P},\mathbb{Q})$，它衡量两个分布$\mathbb{P}$和$\mathbb{Q}$之间的差异。
定义7(差异距离[27])。
设 Hyp ⁡ ⊂ { f : X → Y } \operatorname{Hyp}\subset\{f:\mathcal X\rightarrow\mathcal Y\} Hyp⊂{f:X→Y}是一组函数，从X映射到Y。两个分布$\mathbb{P}$和$\mathbb{Q}$在$\mathcal{X}$之间的差异距离定义为
$$\mathrm{disc}(\mathbb{P},\mathbb{Q})=\underset{h,h^{\prime }\in \mathrm{Hyp}}{\sup }|{\mathcal{L}}_{\mathbb{P}}\left(h,h^{\prime }\right)-{\mathcal{L}}_{\mathbb{Q}}\left(h,h^{\prime }\right)|\text{\hspace{1em}(22)}$$
这个误差是对称的，满足三角形不等式，但它一般没有定义距离:$\exists \mathbb{P}\ne \mathbb{Q}$有${\mathrm{disc}}_{Hyp}(\mathbb{P},\mathbb{Q})=0$
如果我们假设我们有一个通用的内核[69]，[70]，即$\mathcal{H}=C(\mathcal{X})$作为拓扑空间，损耗$l$是平方损耗[71]，那么差异就是一个度量。通用核最重要的例子是高斯RBF核，它是下面实验中使用的核。
证明的主要步骤是找出域散度与误差距离之间的关系。我们可以在特殊情况下这样做，其中核是通用的，损失是均方误差。主要的技术挑战是差异距离在假设中是二次的(包括$h(x{)}^2和h(x)h^{\prime }(x)$的形式)，而MMD是线性的。
定义8(乘法运算符)
设$C(\mathcal{X})$为紧集X上具有上范数$\Vert \cdot {\Vert }_{\infty }$的连续函数空间。给定$g\in C(\mathcal{X})$，定义乘法运算符为有界线性运算符${\mathbf{M}}_g:C(\mathcal{X})\to C(\mathcal{X})$给出的
$${\mathbf{M}}_g(h)(x)=g(x)h(x)$$
注意，一般的RKHS在乘法运算符下不是封闭的。然而，由于内核是通用的，因此$\mathcal{H}$在乘法下是封闭的，因为连续函数$C(\mathcal{X})$的空间在乘法下是封闭的。此外，我们还可以在$\mathcal{H}$上定义范数$\Vert \cdot {\Vert }_{\infty }$使用其识别$C(\mathcal{X})$
引理4。
给定$g,h\in \mathcal{H}$，其中$\mathcal{H}$是配备了通用内核，它保持$\Vert {\mathbf{M}}_g(h){\Vert }_{\mathcal{H}}=\Vert g\cdot h{\Vert }_{\mathcal{H}}\le \Vert g{\Vert }_{\infty }\cdot \Vert f{\Vert }_{\mathcal{H}}$
证明
简单的计算。引理需要一个通用核，因为$\Vert g\cdot h{\Vert }_{\mathcal{H}}$仅在$g\cdot h\in \mathcal{H}$。
我们现在展示了两个分布的域分散上界差异距离。
引理5(域散射边界差异)
设$\mathcal{H}$是一个具有通用核的RKHS，假设的$l(y,y^{\prime })=(y-y^{\prime }{)}^2$是平方损失，考虑假设集
Hyp ⁡ = { f ∈ H : ∥ f ∥ H ≤ 1 和 ∥ f ∥ ∞ ≤ r } \operatorname{Hyp}=\{f\in\mathcal H:\|f\|_{\mathcal H}\le 1和\|f\|_{\infin}\le r\} Hyp={f∈H:∥f∥H​≤1和∥f∥∞​≤r}
其中$r>0$是常数设$\mathbb{P}$和$\mathbb{Q}$是$\mathcal{X}$上的两个域，那么下面的不等式成立:
disc ⁡ ℓ ( P , Q ) ⏟ discrepancy  ≤ 8 r Ψ ϕ ( { μ P , μ Q } ) ⏟ domainscatter  . (23) \underbrace{\operatorname{disc}_{\ell}(\mathbb{P}, \mathbb{Q})}_{\text {discrepancy }} \leq \underbrace{8 r \sqrt{\Psi_{\phi}\left(\left\{\mu_{\mathbb{P}}, \mu_{\mathbb{Q}}\right\}\right)}}_{\text {domainscatter }} .\tag{23} discrepancy  discℓ​(P,Q)​​≤domainscatter  8rΨϕ​({μP​,μQ​}) ​​​.(23)
引理5允许我们将域分散与[27]中证明的域适应的泛化界限联系起来。在说明边界之前，我们引入了Rademacher复杂度[59]，它衡量了一类函数适合随机噪声的程度。该测度是界定经验损失和预期损失的基础
定义9 (Rademacher Complexity)
设G是一个从$\mathcal{X}\times \mathcal{Y}$映射到$[a,b]$的函数族，$S=(z_1,\dots ,z_n)\in \mathcal{X}\times \mathcal{Y}$样本大小为n。G相对于样本S的经验Rademacher复杂度为
$${\hat{\Re }}_S(G)=\underset{\sigma }{\mathbb{E}}\left[\underset{g\in G}{\sup }\frac{1}{n}\sum _{i=1}^n{\sigma }_{i}g\left(z_i\right)\right]\text{\hspace{1em}(24)}$$
其中$\sigma =({\sigma }_1,\dots ,{\sigma }_n{)}^T$为Rademacher变量，${\sigma }_{i}s$独立的均匀随机变量在 { − 1 , + 1 } \{-1,+1\} {−1,+1}中取值。所有样本大小为n的Rademacher复杂度为
$${\Re }_n(G)=\underset{S}{\mathbb{E}}[{\hat{\Re }}_S(G)]\text{\hspace{1em}(25)}$$
我们现在有了所有的要素来根据领域分散来推导领域适应界限。
设$f_{\mathbb{P}}$和$f_{\mathbb{Q}}$分别为域$\mathbb{P}$和$\mathbb{Q}$上的真标记函数，$h_{\mathbb{P}}^{\ast }:={\mathrm{argmin}}_{h\in \text{Hyp}}{\mathcal{L}}_{\mathbb{P}}(h,f_{\mathbb{P}})$和$h_{\mathbb{Q}}^{\ast }:={\mathrm{argmin}}_{h\in \text{Hyp}}{\mathcal{L}}_{\mathbb{Q}}(h,f_{\mathbb{Q}})$成为最小化者。为了成功地进行域调整，我们将假设${\mathcal{L}}_{\mathbb{P}}(f_{\mathbb{P}},f_{\mathbb{Q}})$很小。
定理6(域散射适应边界)。
设Hyp为从$\mathcal{X}$映射到$\mathbb{R}$的函数族，$S_{\mathcal{X}}^{\mathbb{P}}=(x_1^t,\dots ,x_{n_s}^t)\sim \mathbb{P}$和$S_{\mathcal{X}}^{\mathbb{Q}}=(x_1^t,\dots ,x_{n_t}^t)\sim \mathbb{Q}$分别为源样本和目标样本。
对于任何假说$h\in \text{Hyp}$，概率至少为$1-\delta$，以下适应界限成立:
L Q ( h , f Q ) − L Q ( h Q ∗ , f Q ) ⏞ regret on target domain  ≤ L P ^ ( h , h P ∗ ) ⏞ empirical loss  + 2 q R ^ S X P ( H y p ) ⏞ Rademacher complexity  + 3 B log ⁡ 2 δ 2 n t ⏟ O ( 1 /  sample size  ) + 8 r Ψ ϕ ( { μ Q , μ P } ) ⏟ domain scatter  + L P ( h P ∗ , h Q ∗ ) ⏟ deviation of optimal solns  (26) \begin{aligned} &\overbrace{\mathcal{L}_{\mathbb{Q}}\left(h, f_{\mathbb{Q}}\right)-\mathcal{L}_{\mathbb{Q}}\left(h_{\mathbb{Q}}^{*}, f_{\mathbb{Q}}\right)}^{\text {regret on target domain }} \leq \overbrace{\mathcal{L}_{\hat{\mathbb{P}}}\left(h, h_{\mathbb{P}}^{*}\right)}^{\text {empirical loss }}+\overbrace{2 q \hat{\mathfrak{R}}_{S_{\mathcal{X}}^{\mathrm{P}}}(\mathrm{Hyp})}^{\text {Rademacher complexity }}\\ &+\underbrace{3 B \sqrt{\frac{\log \frac{2}{\delta}}{2 n_{t}}}}_{O(1 / \sqrt{\text { sample size })}}+\underbrace{8 r \sqrt{\Psi_{\phi}\left(\left\{\mu_{\mathbb{Q}}, \mu_{\mathbb{P}}\right\}\right)}}_{\text {domain scatter }}+\underbrace{\mathcal{L}_{\mathbb{P}}\left(h_{\mathbb{P}}^{*}, h_{\mathbb{Q}}^{*}\right)}_{\text {deviation of optimal solns }} \end{aligned}\tag{26} ​LQ​(h,fQ​)−LQ​(hQ∗​,fQ​) ​regret on target domain ​≤LP^​(h,hP∗​) ​empirical loss ​+2qR^SXP​​(Hyp) ​Rademacher complexity ​+O(1/ sample size ) ​ 3B2nt​logδ2​​ ​​​+domain scatter  8rΨϕ​({μQ​,μP​}) ​​​+deviation of optimal solns  LP​(hP∗​,hQ∗​)​​​(26)
**证明。**固定$h=\text{Hyp}$。由于平方损失是对称的，并且服从三角形不等式，[27]中的定理8(参见补充材料，可在线获得)暗示了这一点
$$\begin{gathered} {\mathcal{L}}_{\mathbb{Q}}\left(h,f_{\mathbb{Q}}\right)-{\mathcal{L}}_{\mathbb{Q}}\left(h_{\mathbb{Q}}^{\ast },f_{\mathbb{Q}}\right)\le {\mathcal{L}}_{\mathbb{P}}(h,h_{\mathbb{P}}^{\ast })+{\text{disc}}_l(\mathbb{Q},\mathbb{P}) \\ +{\mathcal{L}}_{\mathbb{P}}(h_{\mathbb{P}}^{\ast },h_{\mathbb{Q}}^{\ast })\text{\hspace{1em}(27)} \end{gathered}$$
将上述定理6与[27]中的定理9进行比较具有指导意义，[27]是扩展${\text{disc}}_l(\mathbb{Q},\mathbb{P})$在(27)的实证测量。用经验散射 Ψ ϕ ( { μ P ^ ， μ Q ^ } ) \Psi_{\phi}(\{\mu_{\hat{\mathbb P}}，\mu_{\hat{\mathbb Q}}\}) Ψϕ​({μP^​，μQ^​​})，应用定理1。
定理6的意义有两方面。首先，强调了散射 Ψ ϕ ( { μ P , μ Q } ) \Psi_{\phi}(\{\mu_{\mathbb P},\mu_{\mathbb Q}\}) Ψϕ​({μP​,μQ​})控制了域适应的泛化性能。其次，该边界显示散射(也称为MMD)与[27]中提出的域适应理论之间的直接联系。请注意，这个界限可能对实际目的没有用处，因为它是松散和悲观的，因为它们适用于所有的假设和所有可能的数据分布。

六、实验一： 域适配

第一组实验评估了SCA在合成数据和真实物体识别任务上的域适应性能。合成数据旨在理解学习到的特征与其他算法相比的行为，而实际图像用于验证SCA的性能

6.1合成数据

图1描绘了合成数据，它由三个类别下的六个聚类的二维数据点组成。每个聚类中的数据点都是由一个高斯分布$x^c\sim \mathcal{N}({\mu }^c,{\sigma }^c)$，其中${\mu }^c$和${\sigma }^c$为第C聚类的均值和标准差。 所有算法都使用RBF内核$k(\mathbf{a},\mathbf{b})=\exp \left(-\frac{\Vert \mathbf{a}-\mathbf{b}{\Vert }_2^2}{{\sigma }^2}\right)$
所有可调超参数均根据1-最近邻的测试精度进行选择。我们比较了核主成分分析(Kernel Principal Component Analysis)、半监督传输成分分析(Semi-Supervised Transfer Component Analysis, SSTCA)[45]、传输联合匹配[15]和SCA提取的特征。

6.2真实世界物体识别

我们总结了一系列跨域目标识别任务的完整域适应结果。利用了几个真实世界的图像数据集，如手写数字(MNIST[73]和USPS[74])和一般对象(MSRC [75]， VOC2007 [6]， Caltech-256 [76]， Office[16])。

从这些数据集构建了三个跨域对:USPS+MNIST、MSRC+VOC2007和Office+Caltech

6.2.1数据设置

USPS+MNIST组合由手写数字数据集的下采样原始图像组成。
MSRC+VOC2007组合由240维图像组成，共享6个物体类别
Office+Caltech由10个类别的2,533张图片组成(每个域名每个类别8到151张图片)

6.2.2.基线和协议

我们比较了以下算法的分类性能:

1. 基于原始特征的分类器(raw)，
2. KPCA
3. 传输分量分析[45]，
4. SSTCA,
5. 测地流核(GFK)[29]，
6. 传输稀疏编码[23]
7. 子空间对齐[31]
8. TJM[15]
9. 无监督分散分量分析，
10. SCA。

对于一个真实的设置，可调超参数通过5次交叉验证选择，仅根据源域的标签。

上述特征学习算法分别在三种不同的分类器上进行评价:

1. 1-最近邻(1NN)，
2. 带线性核的支持向量机(L-SVM)[79]，
3. 域适应机器[36]。

6.2.3 1-最近邻分类精度

表1总结了USPS +MNIST和MSRC+VOC2007对的分类精度。

令人惊讶的是，SSTCA在培训期间也合并了标签信息，但没有表现出竞争力。
Office+Caltech对的结果汇总在表2 (SURF-BoW)和表3 (DeCAF6)中。

用于产生上述所有结果的算法的超参数仅使用源域的标签进行了调优。这是无监督域适应设置的唯一有效的调优协议。尽管如此，在文献中建立的一些最好的结果是使用目标标签上的超参数调整获得的。

6.2.4.L-SVM和DAM的分类精度

为了简洁起见，我们比较了图2所示的五种算法:KPCA、SSTCA、SA、TJM和SCA的性能。

表4总结了Raw特性的绝对准确性。

从表4可以看出，DAM在Raw特性上的表现优于L-SVM。令人惊讶的是，当使用特征学习算法时，情况并非总是如此。此外，L-SVM总是产生更高的性能增益相对于原始特征。这可能是由于过拟合，因为DAM比L-SVM有更多的超参数。也就是说，将DAM与特征学习算法相结合使整个过程变得复杂——回想超参数的选择是基于对源数据的验证。

6.2.5运行时性能

表5比较了SCA与其他一些算法:KPCA、TCA、SA、TSC和TJM在MNIST+USPS、MSRC+VOC和Office+Caltech(与DeCAF6)上的平均运行时性能。

七、实验二：领域泛化

我们在三个跨域数据集上评估了我们的算法:VLCS、Office+Caltech和IXMAS [80]

7.1数据设置

第一个跨域数据集，我们称之为VLCS，由PASCAL VOC2007 (V)[6]、LabelMe (L)[81]、Caltech-101 ©[76]和SUN09 (S)[82]数据集的图像组成，每个数据集代表一个域。
第二个跨域数据集是Office+Caltech数据集
第三个数据集是IXMAS数据集

7.2基线和协议

我们将我们的算法与以下基线进行了比较:

1. 1NN: 1-最近邻分类器。
2. L-SVM:带线性核的SVM分类器。
3. 核主成分分析。
4. Undo-Bias[21]:一种多任务svm消除数据集偏差的算法。
5. UML[20]:一个基于结构化度量学习的算法，旨在为分类任务学习一个更少偏差的距离度量。
6. DICA[19]:一种用于域泛化的核特征提取方法。
7. LRE-SVM[22]:采用核范数正则化来施加低秩似然矩阵的非线性范例- svm模型。

我们使用最近邻作为所有基于特征学习的算法的基分类器:KPCA、DICA、uSCA/ uDICA和SCA。根据源域的标签选择可调超参数。
对于所有基于核的方法，核函数为RBF核，$k(\mathbf{a},\mathbf{b})=\exp \left(-\frac{\Vert \mathbf{a}-\mathbf{b}{\Vert }_2^2}{{\sigma }^2}\right)$，通过中值启发式计算内核带宽$\sigma$。注意，在这种情况下，无监督的DICA几乎与uSCA相同。唯一的区别是uSCA对于域分散/分布方差项有一个控制参数$\delta >0$。

7.3VLCS数据集上的结果

在这个数据集上，我们首先使用1-最近邻进行标准的训练测试评估
groundtruth评价结果如表6所示。

总的来说，尽管使用了最先进的深度卷积神经网络特征$DeCA{F}_6$，但数据集确实存在偏差
然后，我们在7个跨域识别任务中评估了域泛化性能。完整结果汇总于表7。

7.4Office+加州理工学院数据集上的结果

我们在Office+Caltech数据集构建的几个跨领域案例上评估了我们的算法。表8报告了4例$DeCA{F}_6$患者的详细评价结果。

这表明，在特征学习过程中结合源域的标记信息确实可以改善Office+Caltech案例中的域泛化。

7.5IXMAS数据集上的结果

表9总结了在三个跨域案例中IXMAS数据集上的分类准确性。

7.6运行时性能

从表10中，我们可以看到SCA的运行时与KPCA和DICA相当，这是意料之中的，因为它们利用了相同的优化过程:使用广义特征值分解进行一次运行。

八、总结

基于散射的目标函数是对域适应和域泛化问题的相关结构进行编码的一种直接方法。
SCA使用数据子集之间的差异来构建一个线性转换，该转换减弱(标签内和域之间)不重要的差异，并放大有用的差异(标签之间和总体可变性)。
我们的理论分析表明，具有两个输入域的散射，即域散射，为域适应提供了泛化边界
SCA是Kernel PCA、Kernel Fisher Discriminant和TCA的自然扩展。相反，许多域适应方法使用目标函数，将总方差和MMD与本质上不同的量相结合，如图拉普拉斯算子[23]、稀疏性约束[15]、[23]、希尔伯特-施密特独立准则[45]或中心子空间[19]
通过将目标标签合并到类分散中，SCA可以很容易地扩展为半监督域适应。最后，我们指出，使用随机特性应该可以加速SCA处理大规模问题[84]。
因此，开发更基本的特征学习算法是至关重要的，它可以在广泛的情况下显著减少数据集偏差

---

Reference

Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization