核方法

核方法定义

定理：令$\mathbb{H}$为核函数$\kappa$对应的再生希尔伯特空间，$||h|{|}_{\mathbb{H}}$表示$\mathbb{H}$空间中关于$h$的范数，对于任意单调递增函数$\Omega :[0,\infty ]\mapsto \mathbb{R}$和任意非负损失函数$L:\mathbb{R}\mapsto [0.\infty ],$优化问题$$minF(h)=\Omega (||h|{|}_{\mathbb{H}})+L(h(x_1),...,h(x_m))$$的解总是可以写成：
$$h^{\ast }(x)=\sum _{i=1}^m{\alpha }_i\kappa (x,x_i)$$
表示定理对损失函数没有限制，对于正则化项$\Omega$仅要求单调递增，甚至不要求$\Omega$是凸函数，这就意味着对于一般的损失函数和正则化项，优化问题的最优解$h^{\ast }(x)$都可以表示为核函数$\kappa (x,x_i)$的线性组合。

核函数的厉害之处从以上皆是就可以看出。

核函数背景

和函数的重要思想：非线性带来高维转换、对偶表示带来内积。

非线性带来高维转换
从线性分类的角度来看：以PLA和SVM为例，我们处理线性可分和不可分的问题时通常是用以下方法：

算法	线性可分	不是严格线性可分	严格非线性
感知机算法	PLA	Pocket Algorithm	$\varphi (x)+PLA$
支持向量机	hard-margin SVM	soft-margin SVM	$\varphi$+hard-margin SVM(kernel SVM)

对于严格非线性问题的方法：可以假设通过某种映射$X\mapsto Z$将输入控件映射到一个特征空间$Z$，然后再$Z$中执行线性分类。这就是非线性带来高维转换

对偶表示带来内积
在SVM中我们知道，解决凸优化问题我们依靠的就是最大间隔分类，再通过拉格朗日对偶性见简化为另一种对偶形式，但是对偶形式优化问题里包含一个内积的概念，也就是
$\underset{\lambda }{\max }{\sum }_{i=1}^N{\lambda }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j$
$s.t.{\lambda }_i\ge 0,{\sum }_{i=1}^N{\lambda }_i{y}_i=0$
中的$x_i^T{x}_j,$而我们在计算的过程中必须要求出来这个内积。
如果是非线性问题，还需要拓展到高维空间，将$x_i^T{x}_j$转换成$\varphi (x_i{)}^T\varphi (x_j)，$然而高维空间求出这个内积的可能性太小。
而核方法就可以很好的解决这个问题。

核函数定义：$\kappa (x,z)=\varphi (x{)}^T\varphi (z),$其中$\varphi :X\mapsto \mathbb{H},x、z\subset X$

正定核函数

定义:
$\kappa :X\times X\mapsto \mathbb{R},任意x,z\subset X,有\kappa (x,z)$
如果$存在\varphi :X\mapsto \mathbb{R}s.t.\kappa (x,z)=<\varphi (x),\varphi (z)>$，那么称$\kappa (x,z)$是正定核函数。

而核函数$\kappa (x,z)$必须满足正定性和对称性。
对称性：$\kappa (x,z)=\kappa (z,x)$
正定性：在$X$中任取N个元素，对应的Gram matrix$:\kappa =[\kappa (x_i,x_j)]$是半正定的。

关于正定核函数为什么满足对称性和半正定性，有兴趣的可以查阅相关书籍了解一下。