MMD以及核公式推导

Max Mean Discrepancy 最大均值差异

MD均值差异

判断两个分布p和q是否相同

设：

• p分布生成样本空间P
• q分布生成样本空间Q
• 函数f
  • 输入：分布生成的样本空间

若
$$mean(f(P))==mean(f(Q))$$

则p和q是同一分布

p中有样本p1, p2, …, pm

q中有样本q1, q2, …, qn

若
$$(f(p_1)+f(p_2)+...+f(p_m))/m==(f(q_1)+f(q_2)+...+f(q_n))/n$$
认为是同一分布

均值差异Mean Discrepancy
$$\text{md}=|mean(f(P))-mean(f(Q))|$$
假设有两条玻璃生产线p和q，需要撤掉一条换新的，各生产100块玻璃，p1,…,p100，q1,…,q100，交给小明用如下方法函数集$\mathcal{F} $测量比较：

• f1：测厚度
• f2：测透光率
• f3：测平整度
• f4：测密度
• f5：测成分比例

记下与公司规定的标准厚度的差值，然后取绝对值。

我们没办法从样本空间内衡量这些分布，但是我们可以把样本空间，通过一组函数集$\mathcal{F}$映射到新的空间，新空间内的数据是可比的。

在本例子中，映射过后的数据是一个数（标量）。事实上，常见的应该是一个向量，而且是无穷维的向量。

我们把经过映射形成的空间叫做希尔伯特空间（输出空间），原样本空间称为欧氏空间（输入空间）

---

最大均值差异（MMD）

在函数集$\mathcal{F}$寻找一个f使得|mean(f(P))-mean(f(Q))|有最大值，这个就是MMD
$$\mathrm{MMD}[\mathcal{F},p,q]:=\underset{f\in \mathcal{F}}{\sup }\left({\mathbf{E}}_{x\sim p}[f(x)]-{\mathbf{E}}_{y\sim q}[f(y)]\right)$$

• sup：求上界（简单理解就是求最大值）
• $\mathbf{E}$：求期望（可以立即为均值）
• $x\sim p$：x是p空间的一个样本，一个实例

因为样本是有限的，因此式4可以写为：
$$\mathrm{MMD}[\mathcal{F},X,Y]:=\underset{f\in \mathcal{F}}{\sup }\left(\frac{1}{m}\sum _{i=1}^{m}f\left(x_i\right)-\frac{1}{n}\sum _{i=1}^{n}f\left(y_i\right)\right)$$
还有写成这样的：
$$\underset{f\in F}{\sup }<{\mu }_p-{\mu }_q,f>$$

question1

我们刚才的映射过后的空间有5个维（厚度，透光度，平整度，密度，成分比例），如果这5个维度，均值差异都为0，我们就能说p和q分布相同么？显然不是，如果我们有更多的维度，我们得出的结果才更有说服力。

这就要求，函数集$\mathcal{F}$足够的丰富。（事实上是无穷维的）

question2

第二个考虑的是数据集样本的数量，希望在求MMD的是偶，随着数据集的增大，MMD可以迅速收敛。

这就要求函数集$\mathcal{F}$有足够的约束

当$\mathcal{F}$是再生希尔伯特空间(RHKS)上的单位球(unit ball)时，可以满足上述两个条件

再生核希尔伯特空间与核方法 - 知乎 (zhihu.com)
$$\mathrm{MMD}[\mathcal{F},X,Y]:=\underset{f\in \mathcal{F},\Vert f{\Vert }_{\mathcal{H}}\le 1}{\sup }\left(\frac{1}{m}\sum _{i=1}^{m}f\left(x_i\right)-\frac{1}{n}\sum _{i=1}^{n}f\left(y_i\right)\right)$$

• $\mathcal{H}$：表示再生希尔伯特空间
• $|f{\Vert }_{\mathcal{H}}\le 1$：$f$在再生希尔伯特空间中的范数应该小于等于1。即在单位球内

我们需要做的就是求下边这个式子的最值
$$MMD[F,X,Y]:={\Vert \frac{1}{m}\sum _{i=1}^{m}f\left(x_i\right)-\frac{1}{n}\sum _{j=1}^{n}f\left(y_j\right)\Vert }_{\mathcal{H}}$$

到这里我们是没有办法计算，因为是无穷维的。接下来可以做一个很巧妙的变换，平方。

$$\begin{array}{rl}MM{D}^2[F,X,Y]& ={\Vert \frac{1}{n}\sum _{i=1}^{n}f\left(x_i\right)-\frac{1}{m}\sum _{j=1}^{m}f\left(x_j\right)\Vert }_{\mathcal{H}}^2\\ & =\Vert \frac{1}{n^2}\sum _i^n\sum _{i^{\prime }}^{n}f\left(x_i\right)f\left(x_i^{\prime }\right)-\frac{2}{nm}\sum _i^n\sum _j^{m}f\left(x_i\right)f\left(y_j\right)+\frac{1}{m^2}\sum _j^m\sum _{j^{\prime }}^{m}f\left(y_j\right)f\left(y_j^{\prime }\right)\Vert \end{array}$$

• $x_i^{\prime }$：就是$x_i$，为了区分而已。

平方之后，我们发现了两个向量相乘的部分，$f\left(x_i\right)f\left(x_i^{\prime }\right)$、$f\left(x_i\right)f\left(y_i\right)$、$f\left(y_i\right)f\left(y_i^{\prime }\right)$

虽然他们也是无穷维的，但是有这么一个叫核函数的东西，可以避免计算两个向量相乘。

核函数

设X是输入空间(欧氏空间或离散集合) ，$\mathcal{H}$为映射空间(希尔伯特空间)，如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射
$$\phi (\mathrm{x}):\mathcal{X}\to \mathcal{H}$$
使得对所有的$x,y\in \mathcal{X}$，都存在函数$K(x,y)=\phi (x)\cdot \phi (y)$
则称$K(x,y)$为核函数, $\phi (\cdot )$为映射函数, $\phi (x)\cdot \phi (y)$映射到映射空间上的内积。

令$K(x,y)$简单表示为$K_{x,y}$

于是，我们用核函数换一下向量相乘的部分，$f\left(x_i\right)f\left(x_i^{\prime }\right)$、$f\left(x_i\right)f\left(y_i\right)$、$f\left(y_i\right)f\left(y_i^{\prime }\right)$
$$\begin{array}{rl}MM{D}^2[F,X,Y]& ={\Vert \frac{1}{n}\sum _{i=1}^{n}f\left(x_i\right)-\frac{1}{m}\sum _{j=1}^{m}f\left(x_j\right)\Vert }_{\mathcal{H}}^2\\ & =\Vert \frac{1}{n^2}\sum _i^n\sum _{i^{\prime }}^{n}f\left(x_i\right)f\left(x_i^{\prime }\right)-\frac{2}{nm}\sum _i^n\sum _j^{m}f\left(x_i\right)f\left(y_j\right)+\frac{1}{m^2}\sum _j^m\sum _{j^{\prime }}^{m}f\left(y_j\right)f\left(y_j^{\prime }\right)\Vert \\ & =\Vert \frac{1}{n^2}\sum _{i=1}^n\sum _{i^{\prime }=1}^{n}K\left(x_i,x_i^{\prime }\right)-\frac{2}{nm}\sum _{i=1}^n\sum _{j=1}^{m}K\left(x_i,y_j\right)+\frac{1}{m^2}\sum _{j=1}^m\sum _{j^{\prime }=1}^{m}K\left(y_j,y_j^{\prime }\right)\Vert \\ & =\Vert \frac{1}{n^2}Kx,x^{\prime }-\frac{2}{nm}{K}_{x,y}+\frac{1}{m^2}Ky,y^{\prime }\Vert \end{array}$$

令
$$K=\left[\begin{array}{ll}{K}_{x,x^{\prime }}& K_{x,y}\\ K_{x,y}& K_{y,y^{\prime }}\end{array}\right]L=\left[\begin{array}{cc}\frac{1}{n^2}& -\frac{1}{nm}\\ -\frac{1}{nm}& \frac{1}{m^2}\end{array}\right]$$
则
$$KL=\left[\begin{array}{cc}\frac{1}{n^2}{K}_{x,x^{\prime }}-\frac{1}{nm}{K}_{x,y}& \\ & -\frac{1}{nm}{K}_{x,y}+\frac{1}{m^2}{K}_{y,y^{\prime }}\end{array}\right]$$
可知
$$KL=\left[\begin{array}{cc}\frac{1}{n^2}{K}_{x,x^{\prime }}-\frac{1}{nm}{K}_{x,y}& \\ & -\frac{1}{nm}{K}_{x,y}+\frac{1}{m^2}{K}_{y,y^{\prime }}\end{array}\right]=\Vert \frac{1}{n^2}Kx,x^{\prime }-\frac{2}{nm}{K}_{x,y}+\frac{1}{m^2}Ky,y^{\prime }\Vert$$
所以
$$MM{D}^2(X,Y)=\mathrm{tr}(KL)$$

• tr(·)：求·的迹