机器学习：核方法

Kernel Trick

核技巧的思想如下：
1、将算法表述成样本点内积的组合（这经常能通过算法的对偶形式实现）
2、设法找到核函数K(xi,xj)，它能返回样本点xi、xj被ϕ作用后的内积
3、用K(xi,xj)替换xi⋅xj、完成低维到高维的映射（同时也完成了从线性算法到非线性算法的转换）
对于任意一个损失函数和一个单调递增的正则化项组成的优化问题、我们都能够对其应用核技巧

两族核函数族

使用示例：感知机的对偶算法

感知机的对偶算法非核方法

感知机的对偶算法非核方法

使用示例：SVM的原始问题的核方法

使用示例：SVM的对偶问题的核方法

使用核方法后：