【ML算法学习】多核最大均值差异（MK-MMD）与深度适应网络（DAN）

多核最大均值差异（MK-MMD）与深度适应网络（DAN）

1. 理论基础

（1）原点矩、中心矩

1. 引言：当我们描述一个随机变量$x$的时候，最直接的方法就是给出它的概率分布函数$f(x)$。一些简单的分布可以这么干，但是对于一些复杂的、高维的随机变量，我们无法给出它们的分布函数。这时候可以用随机变量的矩来描述一个随机变量，比如一阶原点矩是均值，二至四阶中心矩被定义为方差（variance）、偏度（skewness）和峰度（kurtosis）。如果两个分布的均值和方差都相同的话，它们应该很相似，比如同样均值和方差的高斯分布和拉普拉斯分布。但是很明显，均值和方差并不能完全代表一个分布，这时候就需要更高阶的矩来描述一个分布。
2. 定义：假设$x$和$y$是随机变量，若$E\left(X^k\right),k=1,2,\cdots$存在，则称其为$x$的$k$阶原点矩；若$E\left\{[X-E(X){]}^k\right\},k=2,3,\cdots$存在，则称其为$x$的$k$阶中心矩。易得：均值$E(X)$是$x$的一阶原点矩，描述随机变量以概率为权重的平均值；方差$D(X)$是$x$的二阶中心矩，描述随机变量的离散程度。
3. 对于任意已知矩母函数存在的分布，如果有另一个随机变量的所有n阶矩都与之相等，则这个随机变量服从于这个已知分布。但某些情况下，矩母函数可能并不收敛，则全部的n阶矩不能完全决定分布。
4. 通俗解释：对于随机变量$x$，每一个关于$x$的矩都告诉你一些关于$x$分布的信息，并且在一定情况下全部$n$阶矩可以完全决定$x$的分布。

（2）核函数定义（统计学习方法定义7.6）

• 定义内容：假设有输入空间$\mathcal{X}$（$\mathcal{X}\in R^n$）和特征空间$\mathcal{H}$（希尔伯特空间），若存在一个从$\mathcal{X}$到$\mathcal{H}$的映射$\varphi (x):\mathcal{X}\to \mathcal{H}$，使得对所有样本$x,z\in \mathcal{X}$，有函数$K(x,z)$满足条件$K(x,z)=\varphi (x)\cdot \varphi (z)$（内积），则称$K(x,z)$为核函数，$\varphi (x)$为映射函数。

• 核技巧思路：在学习和预测中只定义核函数$K(x,z)$，而不显式地定义映射函数$\varphi (\cdot )$，因为通常直接计算$K(x,z)$比较容易，而由$\varphi (x)$和$\varphi (z)$来计算$K(x,z)$比较困难（$\varphi (\cdot )$是输入空间$\mathcal{X}$到特征空间$\mathcal{H}$的映射，特征空间一般是高维甚至无穷维的）。此外，对于给定的核函数$K(x,z)$，特征空间$\mathcal{H}$和映射函数$\varphi (\cdot )$的取法不唯一，即便是在同一特征空间内也能取不同的映射。

• 例：假设输入空间$\mathcal{X}\in R^2$，核函数为$K(x,z)=(x\cdot z{)}^2$，试找出其相关的特征空间$\mathcal{H}$和映射$\varphi (\cdot ):R^2\to \mathcal{H}$。

  • 法1：取特征空间$\mathcal{H}=R^3$，记$x={\left(x^{(1)},x^{(2)}\right)}^{\mathrm{T}}$， $z={\left(z^{(1)},z^{(2)}\right)}^{\mathrm{T}}$，核函数为
    $$(x\cdot z{)}^2={\left(x^{(1)}{z}^{(1)}+x^{(2)}{z}^{(2)}\right)}^2={\left(x^{(1)}{z}^{(1)}\right)}^2+2x^{(1)}{z}^{(1)}{x}^{(2)}{z}^{(2)}+{\left(x^{(2)}{z}^{(2)}\right)}^2$$

    所以可以取映射$\varphi (x)={\left({\left(x^{(1)}\right)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},{\left(x^{(2)}\right)}^2\right)}^{\mathrm{T}}$，易验证$\varphi (x)\cdot \varphi (z)=(x\cdot z{)}^2=K(x,z)$。

  • 法2：取$\mathcal{H}=R^3$以及$\varphi (x)=\frac{1}{\sqrt{2}}{\left({\left(x^{(1)}\right)}^2-{\left(x^{(2)}\right)}^2,2x^{(1)}{x}^{(2)},{\left(x^{(1)}\right)}^2+{\left(x^{(2)}\right)}^2\right)}^{\mathrm{T}}$同样满足条件。

  • 法3：取$\mathcal{H}=R^4$以及$\varphi (x)={\left({\left(x^{(1)}\right)}^2,x^{(1)}{x}^{(2)},x^{(1)}{x}^{(2)},{\left(x^{(2)}\right)}^2\right)}^T$满足条件。

• 通俗理解：核方法将数据映射到更高维的空间，希望在这个更高维的空间中，数据可以变得更容易分离或更好的结构化。

2. 最大均值差异Maximum Mean Discrepancy（MMD）

（1）使用背景

• Maximum Mean Discrepancy（MMD）是迁移学习，尤其是域适应中最常用的一种损失函数。其基本思想是：1）若两个随机变量的任意阶矩都相同，那么这两个分布就是一致的；2）若两个分布不相同，那么使得两个分布之间差距最大的那个矩应该被用来作为度量两个分布的标准。MMD主要被用来度量两个不同但相关的随机变量分布之间的距离。

（2）定义

• 基本定义：
  $$MMD[\mathcal{F},p,q]:=\underset{f\in \mathcal{F}}{\sup }\left(E_p[f(x)]-E_q[f(y)]\right)$$
  其中，$\sup$表示求上界即最大值，$E_p(\cdot )$表示求期望值，$f(\cdot )$表示映射函数，$\mathcal{F}$表示函数域。$x$为源域数据，$y$为目标域数据，假设它们的分布分别为$\mathrm{p}$和$\mathrm{q}$，$f(x)$、$f(y)$分别为源域和目标域数据经过映射$f(\cdot )$后的值。

• 定义式含义：寻找一个映射函数$f(\cdot )$，$f(\cdot )$能够将变量映射到高维空间，之后求两个分布的随机变量在映射后的期望的差，这个差值便是均值差异，然后寻找这个均值差异的上界，这个最大值便是MMD。

（3）数学推导

1. 在实际使用中，函数域$\mathcal{F}$不可以随便定义，因为即使两个随机变量分布一样，当样本有限时，在任意函数域中，总能找到一个函数$f(\cdot )$使得两个随机变量分布的MMD距离无限大。因此，MMD中函数域定义在再生希尔伯特空间中单位球（即$\Vert f{\Vert }_{\mathcal{H}}\le 1$）内的一个任意向量$f$，表示基底向量$f$在再生希尔伯特空间中的范数应该小于等于1。核函数对应的映射函数$\varphi (\cdot )$可以将随机变量$x$映射到无穷维度上（$\varphi (x)$），$f(x)$表示再生希尔伯特空间中基底向量$f$与向量$\varphi (x)$的点积，即
   $$f(x)=⟨f,\varphi (x){⟩}_{\mathcal{H}}$$
   一个随机变量经过映射后，其期望可以表示为：
   E p [ f ( x ) ] = ∫ X p ( d x