【机器学习】支持向量机(四)----核技巧的应用与核函数

说完训练数据线性可分(近似可分)，我们就该考虑考虑训练数据非线性可分的情况了，非线性问题往往并不好求解，所以我们希望能用解线性分类问题的方法来解决这个问题。因此我们需要将非线性问题转化为线性问题，通过解转化后的线性问题的方法求解原来的非线性问题。

比如上面左边的图中，训练数据无法用直线(线性模型)将正负实例点正确分开，但用了一条椭圆曲线(非线性模型)可以将它们正确分开。我们将这左图中坐标$x^{(1)}$，$x^{(2)}$做一个变换，映射到新的空间中体现，就出现了右图，很明显，通过映射在新空间的训练数据可以被线性模型正确分开。

【映射函数】

我们定义$Φ(x):\mathcal X\to \mathcal H$为映射函数，$z=Φ(x)$表示将数据从原空间映射到新空间的。
如：$Φ(x)=(x,x^2,x^3)^T$，一维映射到三维
$Φ(x)=({x^{(1)}}^2,\sqrt{2}x^{(1)}x^{(2)},{x^{(2)}}^2)^T$，二维映射到三维
$Φ(x)=({x^{(1)}}^2,x^{(1)}x^{(2)},x^{(1)}x^{(2)},{x^{(2)}}^2)^T$，二维映射到四维

对于上图来说我们可以定义$z=Φ(x)=({x^{(1)}}^2,{x^{(2)}}^2)^T$。
经过变换，原空间$\mathcal X\subset R^2$，$x=({x^{(1)}},{x^{(2)}})\in \mathcal X$变换为新空间$\mathcal Z \subset R^2$，$z=({z^{(1)}},{z^{(2)}})^T$
原空间中的椭圆:$w_1{x^{(1)}}^2+w_2{x^{(2)}}^2+b=0$
变换为新空间的直线:$w_1z^{(1)}+w_2z^{(2)}+b=0$

【核函数】

定义

设$\mathcal X$是输入空间(欧式空间$R^n$的子集或离散集合)，$\mathcal H$为特征空间(希尔伯特空间)，若存在一个从$\mathcal X\to \mathcal H$的映射，即$Φ(x):\mathcal X\to \mathcal H$使得对所有的$x,z\in \mathcal X$，函数$K(x,z)=Φ(x)·Φ(z)$，则称$K(x,z)$为核函数，$Φ(x)$为映射函数，式中$Φ(x)·Φ(z)$为$Φ(x)$和$Φ(z)$的内积

【核技巧】

核技巧的基本想法就是通过一个非线性变化，将输入空间对应于一个特征空间，使得在输入空间中的超曲面模型对应于特征空间中的超平面模型(支持向量机)。这样，分类问题的学习任务通过在特征空间中求解线性支持向量机就可以完成了。
那么核技巧的主要方法是什么呢？
通过上面的例子可以看出，我们可以通过直接定义映射函数$Φ$的方式来计算内积$Φ(x)·Φ(z)$，可是往往通过映射函数来计算内积是不容易的。
举个栗子，假设输入空间是$R^2$，核函数是$K(x,z)=(x·z)^2$，记$x=(x^{(1)},x^{(2)})^T$，$z=(z^{(1)},z^{(2)})^T$，映射函数$Φ(x)=({x^{(1)}}^2,\sqrt{2}x^{(1)}x^{(2)},{x^{(2)}}^2)^T$
若我们取$x=(x^{(1)},x^{(2)})^T=(2,3)^T$，$z=(z^{(1)},z^{(2)})^T=(4,5)^T$

用映射函数求解：

$Φ(x)=(4,6\sqrt{2},9)$
$Φ(z)=(16,20\sqrt{2},25)$
$Φ(x)·Φ(z)={4\times16+6\sqrt{2}\times20\sqrt{2}+9\times25}=529$

用核函数求解：

$K(x,z)=(x·z)^2=(8+15)^2=529$

额，仅仅是特征空间为三维，输入空间为二维，计算的复杂程度就已经如此明显了。设想一下如果我们的输入空间为$n$维($R^n$)，$x=(x^{(1)},x^{(2)},...x^{(n)})^T$，特征空间为$m$维($R^m$)，$a=(a^{(1)},a^{(2)},...a^{(m)})^T$。如果我们用映射函数求解，我们需要先把$n$维的输入空间映射为$m$维的特征空间，然后进行m次乘积，再加和。而如果我们用核函数求解，则只需进行n次乘积，再加和，最后整体求$i$次方即可。
由于特征空间一般都是高维的，甚至是无穷维，因此，若是用映射函树求解将会非常麻烦。核函数的作用就是将$m$维高维内积运算$Φ(x)·Φ(z)$转化为$n$维低维输入空间的核函数运算$K(x,z)$。
对于给定的核$K(x,z)$，其特征空间$\mathcal H$和映射函数$Φ(x)$的取法不唯一，如《统计学习方法》中例7.3,第一种和第二种情况表现了选取同样的特征空间，但映射是可以不同的；从整体可以看出，对于特征空间，也可以取不同的情况。

核技巧的应用：

说到核技巧的应用，就不得不提提前面我们所学到的线性支持向量机的对偶问题。

线性支持向量机对偶问题：

　　　$\min\limits_{\alpha}\frac{1}{2}\sum\limits_{i=1}^n\sum\limits_{j=1}^n\alpha_i\alpha_jy_iy_jx_i^Tx_j-\sum\limits_{i=1}^n \alpha_i$
s.t.　　$\sum\limits_{i=1}^n \alpha_iy_i=0$　　($\alpha_i\ge0,i=1,2..,n$)
s.t.　　$0\le\alpha_i\le C$　　($i=1,2..,n$)

很明显可以看出目标函数中存在内积形式，即$x_i^Tx_j$，既然出现了内积形式，我们就可以用核函数来替代，这时，对偶问题的目标函数变为：
　　　$\min\limits_{\alpha}\frac{1}{2}\sum\limits_{i=1}^n\sum\limits_{j=1}^n\alpha_i\alpha_jy_iy_jK(x_i,x_j)-\sum\limits_{i=1}^n \alpha_i$

对于分离超平面和分类决策函数，也可以用核函数来代替公式中的内积形式。
分离超平面:　　　$\sum\limits_{i=1}^n\alpha^*y_iK(x_i,x)+b^*=0$
分类决策函数:　　$f(x)=sign(\sum\limits_{i=1}^n\alpha^*y_iK(x_i,x)+b^*)$

【判定核函数有效性】

在不构造映射函数$Φ(x)$的情况下，我们如何判断给定的$K(x,z)$是不是核函数呢？
由于我们通常所说的核函数就是正定核函数，我们可以通过判断给定的$K(x,z)$是不是正定核来确定它是不是核函数。

(1)判定正定核：

设$\mathcal X$为输入空间，$K(x,z)$是定义在$\mathcal X\times\mathcal X$上的对称函数，如果对任意$x_i\in\mathcal X,(i=1,2...m)$，$K(x,z)$对应的$Gram$矩阵$[K_{ij}]_{m\times m}=[K(x_i,x_j)]_{m\times m}$是半正定矩阵，则称$K(x,z)$是正定核。
$Gram$矩阵长这样：
$G=X^TX= \begin{vmatrix} x_1^T \\ x_2^T \\ . \\ . \\ x_m^T \\ \end{vmatrix} [x_1,x_2,…,x_m]= \begin{vmatrix} x_1^Tx_1&x_1^Tx_2&...&x_1^Tx_m \\ x_2^Tx_1&x_2^Tx_2&...&x_2^Tx_m \\ . \\ . \\ x_m^Tx_1&x_m^Tx_2&...&x_m^Tx_m \\ \end{vmatrix}$

心累，还得多补补线性代数相关知识。如何判断这个矩阵是半正定矩阵呢？一般对于实对称矩阵来说，它的特征值大于等于0，就是半正定矩阵。

(2)$Mercer$定理判定Mercer核

如果函数$K$是$R^n\times R^n\to R$上的映射(也就是两个n维向量映射到实数域)，若$K$是一个有效核函数(即Mercer核)，那么当且仅当对于训练样例{$x_i,x_2,...,x_m$}其相应的核函数是对称半正定的。
emmmm，其实不太懂什么意思，后续再看，不过书上提到，正定核比Mercer核更具一般性。

【常用核函数】

①线性核函数
　　　　$K(x,z)=x^Tz$

主要用于线性可分的情况，输入空间与特征空间的维度一样，由于其参数少，速度快，对于线性可分数据的分类效果非常理想。
②多项式核函数
　　　　$K(x,z)=(x^Tz+1)^p$

可以实现将低维输入空间映射到高维特征空间，但由于参数多，当多项式阶数比较高时，计算复杂度会很大。
③高斯核函数(是一种径向基核函数)
　　　　$K(x,z)=exp(-\frac{||x-z||^2}{2δ^2})$

一种局部性强的核函数，可以将一个样本映射到一个更高维的空间。其对数据中的噪音有着较好的抗干扰能力，它的参数决定了函数作用范围，超过了这范围，数据的作用就”基本消失”，该函数的参数相较于多项式核函数要少，但其性能对参数十分敏感。

还有其他一些径向基核函数，常用的如：指数核，拉普拉斯核；不常用的如：二次有理核，多元二次核，逆多元二次核，ANOVA核。

④sigmoid核函数
　　　　$K(x,z)=tanh(ax^Tz+c)$
采用sigmoid核函数，SVM实现的就是一种多层神经网络。

对于核函数，还有很多，诸如小波核(适用于语音处理场景)、贝叶斯核、对数核(常用于图像分割场景)等等

【核函数的选择】　

NG老师机器学习课上曾给出这样的方法：
—–特征数量很大，大到和样本数量差不多：选用逻辑回归或者线性核函数的SVM　
—–特征数量小，样本数量正常：选用高斯核函数+SVM
—–特征数量小，样本数量很大：需手工添加一些特征从而变成第一种情况　

参考文献：《统计学习方法》、《机器学习》