最大均值差异

引言

最大均值差异(maximum mean discrepancy, MMD)提出时候是用来双样本检测，也就直观的判断两个数据的分布。

原理

MMD的基本原理如下所述：假设有一个满足P分布的数据集$X^{s}=[x_{1}^{s},...,x_{n}^{s}]$ 和一个满足Q分布的数据集$X^{t}=[x_{1}^{t},...,x_{m}^{t}]$ 并且存在一个再生希尔伯特空间H(RKHS) 存在一个映射函数$\phi( \cdot) :X->H$ 表示从原始空间到希尔伯特空间的一个映射，并且当$n,m$ 趋于无穷时$X_{x}^{s}$ 和$X_{x}^{t}$ 的最大均值差异可以表示为下式：

$$f(X_{(S)} , X_{(T)}) =||\frac{1}{n}\sum_{i=1}^{n} \phi (x_{i}^{s}) - \frac{1}{m}\sum_{i=1}^{m} \phi (x_{i}^{t}) ||$$

通过上式可以看出，其原理是对每一个样本进行投影并求和，利用和的大小表述两个数据的分布差异。

运用

MMD在最近的风格迁移中运用的比较多，其神经网络主要是通过最小化两个网络的分布差异，同时MMD在吴恩达提出最近10年要火的迁移学习中应用很广，很多迁移学习神经网络就是把MMD做为最后的损失函数而进行优化的，并且提出了很多改进方法。