【机器学习基础】核方法

本系列为《模式识别与机器学习》的读书笔记。

一，对偶表示

有这样⼀类模式识别的技术：训练数据点或者它的⼀个⼦集在预测阶段仍然保留并且被使⽤。许多线性参数模型可以被转化为⼀个等价的“对偶表⽰”。对偶表⽰中，预测的基础也是在训练数据点处计算的核函数（kernel function）的线性组合。对于基于固定⾮线性特征空间（feature space）映射 $\mathbf{\varphi }(\mathbf{x})$ 的模型来说，核函数由下⾯的关系给出。
$$k(\mathbf{x},{\mathbf{x}}^{\prime })=\mathbf{\varphi }(\mathbf{x}{)}^T\mathbf{\varphi }({\mathbf{x}}^{\prime })\text{\hspace{1em}(6.1)}$$
通过考虑公式(6.1)中特征空间的恒等映射 $\mathbf{\varphi }(\mathbf{x})=\mathbf{x}$ ，就得到了核函数的⼀个最简单的例⼦，此时 $k(\mathbf{x},{\mathbf{x}}^{\prime })={\mathbf{x}}^T{\mathbf{x}}^{\prime }$ ，把这个称为线性核。

许多核函数只是参数的差值的函数，即 $k(\mathbf{x},{\mathbf{x}}^{\prime })=k(\mathbf{x}-{\mathbf{x}}^{\prime })$ ，这被称为静⽌核（stationary kernel），因为核函数对于输⼊空间的平移具有不变性。另⼀种核函数是同质核（homogeneous kernel），也被称为径向基函数（radial basis function），它只依赖于参数之间的距离（通常是欧⼏⾥得距离）的⼤⼩，即 $k(\mathbf{x},{\mathbf{x}}^{\prime })=k(\Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert )$ 。

考虑⼀个线性模型，它的参数通过最⼩化正则化的平⽅和误差函数来确定，正则化的平⽅和误差函数为
J ( w ) = 1 2 ∑ n = 1 N { w T ϕ ( x n ) − t n } 2 + λ 2 w T w (6.2) J(\boldsymbol{w})=\frac{1}{2}\sum_{n=1}^{N}\{\boldsymbol{w}^{T}\boldsymbol{\phi}(\boldsymbol{x}_n)-t_n\}^{2}+\frac{\lambda}{2}\boldsymbol{w}^{T}\boldsymbol{w}\tag{6.2} J(w)=21​n=1∑N​{ wTϕ(xn​)−tn​}2+2λ​wTw(6.2)
其中 $\lambda \ge 0$ 。如果令 $J(\mathbf{w})$ 关于 $\mathbf{w}$ 的梯度等于零，那么看到 $\mathbf{w}$ 的解是向量 $\mathbf{\varphi }({\mathbf{x}}_n)$ 的线性组合的形式，系数是 $\mathbf{w}$ 的函数，形式为
w = − 1 λ ∑ n = 1 N { w T ϕ ( x n ) − t n } ϕ ( x n ) = ∑ n = 1 N a n ϕ ( x n ) = Φ T a (6.3) \begin{aligned}\boldsymbol{w}&=-\frac{1}{\lambda}\sum_{n=1}^{N}\{\boldsymbol{w}^{T}\boldsymbol{\phi}(\boldsymbol{x}_n)-t_n\}\boldsymbol{\phi}(\boldsymbol{x}_n)\\&=\sum_{n=1}^{N}a_n\boldsymbol{\phi}(\boldsymbol{x}_n)=\boldsymbol{\Phi}^{T}\boldsymbol{a}\end{aligned}\tag{6.3} w​=−λ1​n=1∑N​{ wTϕ(xn​)−tn​}ϕ(xn​)=n=1∑N​an​ϕ(xn​)=ΦTa​(6.3)
其中 $\mathbf{\Phi }$ 是设计矩阵，第 $n$ ⾏为 $\mathbf{\varphi }({\mathbf{x}}_n{)}^T$ ，向量 $\mathbf{a}=(a_1,\dots ,a_N{)}^T$ ，并且
a n = − 1 λ { w T ϕ ( x ) − t n } a_n=-\frac{1}{\lambda}\{\boldsymbol{w}^{T}\boldsymbol{\phi}(\boldsymbol{x})-t_n\} an​=−λ1​{ wTϕ(x)−tn​}
现在不直接对参数向量 $\mathbf{w}$ 进⾏操作，⽽是使⽤参数向量 $\mathbf{a}$ 重新整理最⼩平⽅算法，得到⼀个对偶表⽰（dual representation）。如果将 $\mathbf{w}={\mathbf{\Phi }}^T\mathbf{a}$ 代⼊ $J(\mathbf{w})$ ，那么可以得到
$$J(\mathbf{a})=\frac{1}{2}{\mathbf{a}}^T\mathbf{\Phi }{\mathbf{\Phi }}^T\mathbf{\Phi }{\mathbf{\Phi }}^T\mathbf{a}-{\mathbf{a}}^T\mathbf{\Phi }{\mathbf{\Phi }}^T\mathbf{t}+\frac{1}{2}{\mathbf{t}}^T\mathbf{t}+\frac{\lambda }{2}{\mathbf{a}}^T\mathbf{\Phi }{\mathbf{\Phi }}^T\mathbf{a}\text{\hspace{1em}(6.4)}$$
其中 $\mathbf{t}=(t_1,\dots ,t_N{)}^T$ 。现在定义 Gram矩阵 $\mathbf{K}=\mathbf{\Phi }{\mathbf{\Phi }}^T$ ，它是⼀个 $N\times N$ 的对称矩阵，元素为
$$K_{nm}=\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{\varphi }({\mathbf{x}}_m)=k({\mathbf{x}}_n,{\mathbf{x}}_m)$$
使⽤Gram矩阵， 平⽅和误差函数可以写成
$$J(\mathbf{a})=\frac{1}{2}{\mathbf{a}}^T\mathbf{K}\mathbf{K}\mathbf{a}-{\mathbf{a}}^T\mathbf{K}\mathbf{t}+\frac{1}{2}{\mathbf{t}}^T\mathbf{t}+\frac{\lambda }{2}{\mathbf{a}}^T\mathbf{K}\mathbf{a}\text{\hspace{1em}(6.5)}$$
有，
$$\mathbf{a}=(\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{t}\text{\hspace{1em}(6.6)}$$
如果将这个代⼊线性回归模型中，对于新的输⼊ $\mathbf{x}$ ，得到了下⾯预测
$$y(\mathbf{x})={\mathbf{w}}^T\mathbf{\varphi }(\mathbf{x})={\mathbf{a}}^T\mathbf{\Phi }\mathbf{\varphi }(\mathbf{x})=\mathbf{k}(\mathbf{x}{)}^T(\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{t}\text{\hspace{1em}(6.7)}$$
其中定义了向量 $\mathbf{k}(\mathbf{x})$ ，它的元素为 $k_n(\mathbf{x})=k({\mathbf{x}}_n,\mathbf{x})$ 。因此看到对偶公式使得最⼩平⽅ 问题的解完全通过核函数 $k(\mathbf{x},{\mathbf{x}}^{\prime })$ 表⽰。这被称为对偶公式，因为 $\mathbf{a}$ 的解可以被表⽰为 $\mathbf{\varphi }(\mathbf{x})$ 的线性组合，从⽽可以使⽤参数向量 $\mathbf{w}$ 恢复出原始的公式。

在对偶公式中，通过对⼀个 $N\times N$ 的矩阵求逆来确定参数向量 $\mathbf{a}$ ，⽽在原始参数空间公式中， 我们要对⼀个 $M\times M$ 的矩阵求逆来确定 $\mathbf{w}$ 。对偶公式的优点是，它可以完全通过核函数 $k(\mathbf{x},{\mathbf{x}}^{\prime })$ 来表⽰。于是可以直接针对核函数进⾏计算，避免了显式地引⼊特征向量 $\mathbf{\varphi }(\mathbf{x})$ ，这使得可以隐式地使⽤⾼维特征空间，甚⾄⽆限维特征空间。

二，构造核

为了利⽤核替换，需要能够构造合法的核函数。⼀种⽅法是选择⼀个特征空间映射 $\mathbf{\varphi }(\mathbf{x})$ ，然后使⽤这个映射寻找对应的核。⼀维空间的核函数被定义为
$$k(x,x^{\prime })=\mathbf{\varphi }(x{)}^T\mathbf{\varphi }（x^{\prime }=\sum _{i=1}^M{\varphi }_i(x){\varphi }_i(x^{\prime })\text{\hspace{1em}(6.8)}$$
其中 ${\varphi }_i(x)$ 是基函数。

如图6.1～6.3，从对应的基函数集合构建核函数的例⼦。在每⼀图中，下部分给出了由公式(6.8)定义的核函数 $k(x,x^{\prime })$ ，它是 $x$ 的函数，$x^{\prime }$ 的值⽤红⾊叉号表⽰，⽽上部分给出了对应的基函数，分别是多项式基函数（图6.1）、⾼斯基函数（图6.2）、logistic sigmoid基函数（图6.3）。



另⼀种⽅法是直接构造核函数。在这种情况下，必须确保核函数是合法的，即它对应于某个（可能是⽆穷维）特征空间的标量积。考虑下⾯的核函数

$$k(\mathbf{x},\mathbf{z})=({\mathbf{x}}^T\mathbf{z}{)}^2\text{\hspace{1em}(6.9)}$$

如果取⼆维输⼊空间 $\mathbf{x}=(x_1,x_2)$ 的特殊情况，那么展开这⼀项，于是得到对应的⾮线性特征映射

$$\begin{array}{rl}k(\mathbf{x},\mathbf{z})& =({\mathbf{x}}^T\mathbf{z}{)}^2\\ & =(x_1{z}_1+x_2{z}_2{)}^2\\ & =x_1^2{z}_1^2+2x_1{z}_1{x}_2{z}_2+x_2^2{z}_2^2\\ & =(x_1^2,\sqrt{2}{x}_1{x}_2,x_2^2)(z_1^2,\sqrt{2}{z}_1{z}_2,z_2^2{)}^T\\ & =\mathbf{\varphi }(\mathbf{x}{)}^T\mathbf{\varphi }(\mathbf{z})\end{array}$$

更⼀般地， 需要找到⼀种更简单的⽅法检验⼀个函数是否是⼀个合法的核函数，⽽不需要显⽰地构造函数 $\mathbf{\varphi }(\mathbf{x})$ 。 核函数 $k(\mathbf{x},{\mathbf{x}}^{\prime })$ 是⼀个合法的核函数的充分必要条件是Gram矩阵（元素由 $k({\mathbf{x}}_n,{\mathbf{x}}_m)$ 给出）在所有的集合 ${\mathbf{x}}_n$ 的选择下都是半正定的（Shawe-Taylor and Cristianini, 2004）。

构造新的核函数的⼀个强⼤的⽅法是使⽤简单的核函数作为基本的模块来构造。给定合法的核 $k_1(\mathbf{x},{\mathbf{x}}^{\prime })$ 和 $k_2(\mathbf{x},{\mathbf{x}}^{\prime })$ ，下⾯的新核也是合法的
$$\begin{gathered} k(\mathbf{x},{\mathbf{x}}^{\prime })=c{k}_1(\mathbf{x},{\mathbf{x}}^{\prime }) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=f(\mathbf{x})k_1(\mathbf{x},{\mathbf{x}}^{\prime })f({\mathbf{x}}^{\prime }) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=q(k_1(\mathbf{x},{\mathbf{x}}^{\prime })) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=\exp (k_1(\mathbf{x},{\mathbf{x}}^{\prime })) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=k_1(\mathbf{x},{\mathbf{x}}^{\prime })+k_2(\mathbf{x},{\mathbf{x}}^{\prime }) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=k_1(\mathbf{x},{\mathbf{x}}^{\prime })k_2(\mathbf{x},{\mathbf{x}}^{\prime }) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=k_3(\mathbf{\varphi }(\mathbf{x}),\mathbf{\varphi }({\mathbf{x}}^{\prime })) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })={\mathbf{x}}^T\mathbf{A}{\mathbf{x}}^{\prime } \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=k_a({\mathbf{x}}_a,{\mathbf{x}}_a^{\prime })+k_b({\mathbf{x}}_b,{\mathbf{x}}_b^{\prime }) \\ k(\mathbf{x},{\mathbf{x}}^{\prime })=k_a({\mathbf{x}}_a,{\mathbf{x}}_a^{\prime })k_n({\mathbf{x}}_n,{\mathbf{x}}_n^{\prime }) \\ \text{\hspace{1em}(*)} \end{gathered}$$

其中 $c>0$ 是⼀个常数，$f(\cdot )</$