使用核方法的支持向量机

1 内积核

令$x$表示从输入空间中取出的向量，假定维数为$m_0$。令 { φ j ( x ) } j = 1 ∞ \lbrace \varphi_j(x) \rbrace _{j=1}^ \infty {φj​(x)}j=1∞​表示一系列非线性函数的集合，从维数$m_0$的输入空间转换成无限输出空间，给出这样的变换，可定义一超平面：
$$\sum _{j=1}^{\infty }{w}_j{\phi }_j(x)=0\text{\hspace{1em}(1)}$$
其中 { w j ( x ) } j = 1 ∞ \lbrace w_j(x) \rbrace _{j=1}^ \infty {wj​(x)}j=1∞​表示把特征空间转换成输出空间的无限大的权值集合。在输出空间中，由决策平面决定输入空间中的点x属于两个可能类之一：正例或者反例。
为了表示方便，写成如下形式：
$$W^T\Phi (x)=0\text{\hspace{1em}(2)}$$
其中 $\Phi (x)$是特征向量，$W$是权重向量。
$$W=\sum _{i=1}^{N_i}{a}_i{d}_i\Phi (x_i)\text{\hspace{1em}(3)}$$
特征向量表示为：
$$\Phi (x_i)=[{\phi }_1(x_i),{\phi }_2(x_i),...{]}^T\text{\hspace{1em}(4)}$$
于是得：
$$\sum _{i=1}^{N_i}{a}_i{d}_i{\Phi }^T(x_i)\Phi (x)=0\text{\hspace{1em}(5)}$$
${\Phi }^T(x_i)\Phi (x)$代表一个内积，这个内积可写成：
$$k(x,x_i)={\Phi }^T(x_i)\Phi (x)=\sum _{j=1}^{\infty }{\phi }_j(x_i){\phi }_j(x)\text{\hspace{1em}(6)}$$
相应的可以将输出空间的决策平面写成：
$$\sum _{i=1}^{N_s}{a}_i{d}_{i}k(x,x_i)=0\text{\hspace{1em}(7)}$$
函数$k(x,x_i)$被称为内积核，定义如下：
核$k(x,x_i)$是这样一种函数，计算嵌入$\Phi$输入空间的两个数据点在特征空间中像的内积。
特点 1 内积核是自变量的对称函数，表示为
$k(x,x_i)$ = $k(x_i,x)$，对所有的$x_i$
当$x=x_i$时达到最大值。
特点 2 在一个平面上核函数$k(x_i,x)$的总和是一个常数。

2 核技巧

（1）就模式分类的输出空间而言，具体指核函数$k(x,x_i)$是充分的，换句话说，无需显示计算出权重向量$w_0$；
（2）即使假设特征空间是无限维的，但式7也定义了包括有限项的最优超平面，项的数目与分类器中训练模式的个数相等；

将核函数$k(x_i,x_j)$看成一个NxN对称矩阵的ij元素矩阵
(8) K = { k ( x i , x j ) } i , j = 1 N K = \lbrace k (x_i,x_j)\rbrace _{i,j=1} ^N \tag{8} K={k(xi​,xj​)}i,j=1N​(8)
K是一个非负定矩阵，被称为核矩阵，通常称为Gram矩阵，它的非负性或者办正定性是指对于任何与矩阵K可以相容的实向量a满足以下条件：
$$a^{T}Ka\ge 0$$

3 Mercer定理

$k(x,x^{{}^{\prime }})$表示一个连续的对称核，其中$x$定义在闭区间$a\le x\le b$上，$x^{{}^{\prime }}$和$x$类似。核函数$k(x,x^{{}^{\prime }})$可以被展开为级数：
$$k(x,x^{{}^{\prime }})=\sum _{i=1}^{\infty }{\lambda }_i{\phi }_i(x){\phi }_i(x^{{}^{\prime }})\text{\hspace{1em}(9)}$$
为保证上述公式成立，需要满足下列充分必要条件：
$${\int }_b^a{\int }_b^{a}k(x,x^{{}^{\prime }}{\phi }_i(x){\phi }_i(x^{{}^{\prime }})dxdx{}^{\prime }$$
对于所有的$\phi (.)$成立，这样有：
$${\int }_b^a{\phi }^2(x)dx<\infty$$
成立，其中a和b是实整数。
${\phi }_i(x)$称为展开的特征函数，${\lambda }_i$称为特征值

Mercer定理告诉我们有的空间存在一个候选的核是积核，并没有告诉如何去构造 ${\phi }_i(x)$，需要自己去构造。