DA-1-再生核Hilbert空间

原文链接:http://songcy.net/posts/story-of-basis-and-kernel-part-2/

本文主要讨论和函数核再生核希尔伯特空间（reproducing kernel Hilbert space， RKHS）。
核方法的动机在于映射一个${\mathcal{R}}^n$空间中的向量为特征空间中的另一个向量。
如下图所示，红色和蓝色的数据点在${\mathcal{R}}^n$空间中是不易分的。但如果将这些数据点映射到高维特征空间，我们也许可以使其容易分开。本文不提供严格的理论定义，而是对基本思想的直观描述。

Eigen Decomposition

对于实对称矩阵$\mathbf{A}$, 存在实数$\lambda$和向量$\mathbf{x}$使得
$$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}\text{\hspace{1em}(1)}$$

Kernel Function

函数 $f(\mathbf{x})$ 可以看作是一个无限向量。对于一个有着两个独立变量的 $K(\mathbf{x},\mathbf{y})$,我们可以将它看作是一个无限的矩阵。对此有$K(\mathbf{x},\mathbf{y})=K(\mathbf{y},\mathbf{x})$并且
$$\iint f(\mathbf{x})K(\mathbf{x},\mathbf{y})f(\mathbf{y})d\mathbf{x}d\mathbf{y}\ge 0$$
则对于任意的函数$f$,$K(\mathbf{x},\mathbf{y})$是对称正定的，在这种情况下$K(\mathbf{x}$，$\mathbf{y})$是一个核函数.
类似于矩阵的特征根和特征向量，存在特征根$\lambda$和特征函数 $\psi (\mathbf{x})$ 使得
$$\int K(\mathbf{x},\mathbf{y})\psi (\mathbf{x})d\mathbf{x}=\lambda \psi (\mathbf{y})$$

个人理解就是左边的式子对 x 做积分，就得到一个关于y的特征函数的特征根

那么对于不同的特征根${\lambda }_1,{\lambda }_2$, 且分别对应于不同的特征函数 ${\psi }_1(\mathbf{x})$, ${\psi }_2(\mathbf{x})$， 我们可以得到

$$\begin{array}{rl}\int {\lambda }_1{\psi }_1(\mathbf{x}){\psi }_2(\mathbf{x})d\mathbf{x}& =\iint K(\mathbf{y},\mathbf{x}){\psi }_1(\mathbf{y})d\mathbf{y}{\psi }_2(\mathbf{x})d\mathbf{x}\\ & =\iint K(\mathbf{x},\mathbf{y}){\psi }_2(\mathbf{x})d\mathbf{x}{\psi }_1(\mathbf{y})d\mathbf{y}\\ & =\int {\lambda }_2{\psi }_2(\mathbf{y}){\psi }_1(\mathbf{y})d\mathbf{y}\\ & =\int {\lambda }_2{\psi }_2(\mathbf{x}){\psi }_1(\mathbf{x})d\mathbf{x}\end{array}$$

因此 $$<{\psi }_1,{\psi }_2>=\int {\psi }_1(\mathbf{x}){\psi }_2(\mathbf{x})d\mathbf{x}=0$$
再一次地，特征函数为正交的。此处$\psi$表示函数本身（一个无限的向量）。
对于一个核函数，无限的特征根 { λ i } i = 1 ∞ \{\lambda_{i}\}^{\infty}_{i=1} {λi​}i=1∞​ 与无限的特征函数 { ψ i } i = 1 ∞ \{\psi_{i}\}^{\infty}_{i=1} {ψi​}i=1∞​ 可以找到。同样地，对于矩阵来说
$$K(\mathbf{x},\mathbf{y})=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(\mathbf{x}){\psi }_i(\mathbf{y})$$

即 Mercer’s theorem，此处$<{\psi }_1,{\psi }_2>=0，i\ne j$。因此， { ψ i } i = 1 ∞ \{\psi_{i}\}^{\infty}_{i=1} {ψi​}i=1∞​构建了一组函数空间的正交基。

常见核

• Polunomial kernel $K(\mathbf{x},\mathbf{y})=(\gamma x^{T}y+C{)}^d$
• Gaussian radial basis kernel $K(\mathbf{x},\mathbf{y})=\exp (-\gamma ||\mathbf{x}-\mathbf{y}|{|}^2)$
• Sigmoid kernel $K(\mathbf{x},\mathbf{y})=\tanh (\gamma {\mathbf{x}}^{\mathbf{T}}\mathbf{y}+C)$

Reproducing Kernel Hilbert Space

{ λ i ψ i } i = 1 ∞ \{\sqrt{\lambda_{i}} \psi_{i}\}_{i=1}^{\infty} {λi​ ​ψi​}i=1∞​为一组正交基并构造一个希尔伯特空间 $\mathcal{H}$（Hilbert space）。在空间中的任何函数和向量都可以用基线性表示出来。假设

$$f=\sum _{i=1}^{\infty }{f}_i\sqrt{{\lambda }_1}{\psi }_i$$

我们将 $\mathcal{H}$ 中的一个无限向量记为 $f$
$$f=(f_1,f_2,\cdots {)}_{\mathcal{H}}^T$$
对于其他的函数$g=(g_1,g_2,\cdots {)}_{\mathcal{H}}^T$，有
$$<f,g{>}_{\mathcal{H}}=\sum _{i=1}^{\infty }{f}_i{g}_i$$

对于核函数$K$,在此使用$K(\mathbf{x},\mathbf{y})$来表示在参数点$\mathbf{x},\mathbf{y}$处的$K$值的评估，使用$K(\cdot ,\cdot )$来表示函数本身（即无限矩阵），使用$K(\mathbf{x},\cdot )$来表示矩阵的第$\mathbf{x}$行。例如，我们将核函数的一个参数固定为$\mathbf{x}$，则可以将其看作为一个参数的函数或无限的向量，则有
$$K(\mathbf{x},\cdot )=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(\mathbf{x}){\psi }_i$$
在$\mathcal{H}$空间中，可记作
$$K(\mathbf{x},\cdot )=(\sqrt{{\lambda }_1}{\psi }_1(\mathbf{x}),\sqrt{{\lambda }_2}{\psi }_2(\mathbf{x}),\cdots {)}_{\mathcal{H}}^T$$
因此
$$<K(\mathbf{x},\cdot ),K(\mathbf{y},\cdot ){>}_{\mathcal{H}}=\sum _{i=0}^{\infty }{\lambda }_i{\psi }_i(\mathbf{x}){\psi }_i(\mathbf{y})=K(\mathbf{x},\mathbf{y})$$

这就是再生性，因此$\mathcal{H}$被称为再生希尔伯特空间（ reproducing kernel Hilbert space ，RKHS）

回到最初的问题：怎样将点映射到特征空间？如果定义一种映射：
$$\mathbf{\Phi }(\mathbf{x})=K(\mathbf{x},\cdot )={\left(\sqrt{{\lambda }_1}{\psi }_1(\mathbf{x}),\sqrt{{\lambda }_2}{\psi }_2(\mathbf{x}),\cdots \right)}^T$$

然后我们将点$\mathbf{x}$映射到$\mathcal{H}$,此处$\Phi$不是一个函数，因为它指向特征空间$\mathcal{H}$的向量或函数,于是有
$$<\mathbf{\Phi }(\mathbf{x}),\mathbf{\Phi }(\mathbf{y}){>}_{\mathcal{H}}=<K(\mathbf{x},\cdot ),K(\mathbf{y},\cdot ){>}_{\mathcal{H}}=K(\mathbf{x},\mathbf{y})$$

因此，我们不需要知道什么是映射，特征空间在哪里，或者特征空间的基础是什么。对于对称正定函数$K$，必须至少存在一个映射$\mathbf{\Phi }$和一个特征空间$\mathcal{H}$，使
$$<\mathbf{\Phi }(\mathbf{x}),\mathbf{\Phi }(\mathbf{y})>=K(\mathbf{x},\mathbf{y})$$
这就是所谓的kernel trick。

Support Vector Machine

支持向量机(SVM)是RKHS最广为人知的应用之一。假设我们有数据对${({\mathbf{x}}_i,y_i)}_{i=1}^n$，其中$y_i$为1或-1，表示点${\mathbf{x}}_i$的类。支持向量机假设一个超平面来最好地分离这两个类。

$$\underset{\beta ,{\beta }_0}{\min }\frac{1}{2}||\beta |{|}^2+C\sum _{i=1}^n{\xi }_i$$
$$subjectto{\xi }_i\ge 0,y_i({\mathbf{x}}_i^T\beta +{\beta }_0)\ge 1-{\xi }_i,\forall i$$

有时这两个类在${\mathcal{R}}^n$空间中很难分离，因此可以将${\mathbf{x}}_i$映射到高维特征空间中，在高维特征空间中这两个类很容易分离。原来的问题可以重新表述为

$$\underset{\beta ,{\beta }_0}{\min }\frac{1}{2}||\beta |{|}^2+C\sum _{i=1}^n{\xi }_i$$
$$subjectto{\xi }_i\ge 0,y_i(\Phi ({\mathbf{x}}_i{)}^T\beta +{\beta }_0)\ge 1-{\xi }_i,\forall i$$

增广拉格朗日函数为
$$L_p=\frac{1}{2}||\beta |{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(\Phi ({\mathbf{x}}_i{)}^T\beta +{\beta }_0)-(1-{\xi }_i)]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

由于$$\frac{\partial L_p}{\partial \beta }=0$$
我们得到$$\beta =\sum _{i=1}^n{\alpha }_i{y}_i\Phi ({\mathbf{x}}_i)$$

也就是说，$\mathbf{\beta }$可以写成${\mathbf{x}}_i$s !我们可以将$\mathbf{\beta }$替换为新的优化问题。目标函数变为
$$\begin{array}{rl}& \frac{1}{2}{\Vert \sum _{i=1}^n{\alpha }_i{y}_i\mathbf{\Phi }\left({\mathbf{x}}_i\right)\Vert }^2+C\sum _{i=1}^n{\xi }_i\\ =& \frac{1}{2}<\sum _{i=1}^n{\alpha }_i{y}_i\mathbf{\Phi }\left({\mathbf{x}}_i\right),\sum _{j=1}^n{\alpha }_j{y}_j\mathbf{\Phi }\left({\mathbf{x}}_j\right)>+C\sum _{i=1}^n{\xi }_i\\ =& \frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j<\mathbf{\Phi }\left({\mathbf{x}}_i\right),\mathbf{\Phi }\left({\mathbf{x}}_j\right)>+C\sum _{i=1}^n{\xi }_i\\ =& \frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)+C\sum _{i=1}^n{\xi }_i\end{array}$$
约束改变为:
$$\begin{array}{rl}& y_i\left[\mathbf{\Phi }{\left({\mathbf{x}}_i\right)}^T\left(\sum _{j=1}^n{\alpha }_j{y}_j\mathbf{\Phi }\left({\mathbf{x}}_j\right)\right)+{\beta }_0\right]\\ =& y_i\left[\left(\sum _{j=1}^n{\alpha }_j{y}_j<\mathbf{\Phi }\left({\mathbf{x}}_i\right),\mathbf{\Phi }\left({\mathbf{x}}_j\right)>\right)+{\beta }_0\right]\\ =& y_i\left[\left(\sum _{j=1}^n{\alpha }_j{y}_{j}K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\right)+{\beta }_0\right]\ge 1-{\xi }_i,\forall i\end{array}$$

我们需要做的是确定一个核函数并解出$\alpha ，{\beta }_0，{\xi }_i$。我们不需要实际构造特征空间。对于具有未知类的新数据$\mathbf{x}$，我们可以使用一下算式预测它的类

$$\begin{array}{ll}\hat{y}& =\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}[\Phi (\mathbf{x}{)}^T\beta +{\beta }_0]\\ & =\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}[\Phi (\mathbf{x}{)}^T({\sum }_{i=1}^n{\alpha }_i{y}_i\Phi ({\mathbf{x}}_i))+{\beta }_0]\\ & =\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}({\sum }_{i=1}^n{\alpha }_i{y}_i<\Phi (\mathbf{x}),\Phi ({\mathbf{x}}_i)>+{\beta }_0)\\ & =\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}({\sum }_{i=1}^n{\alpha }_i{y}_{i}K(\mathbf{x},{\mathbf{x}}_i)+{\beta }_0)\end{array}$$

核方法增强了支持向量机的鉴别能力。

领域自适应入门参考博文

1. MMD, https://www.cnblogs.com/zhangcn/p/13710192.html
2. 核均值嵌入， https://www.cnblogs.com/zhangcn/p/13710192.html
3. 再生Hilbert空间，https://www.cnblogs.com/zhangcn/p/13289236.html
4. Domain Adaptation1，https://www.cnblogs.com/zhangcn/p/14239570.html