Kernel Trick
核技巧的思想如下:
1、将算法表述成样本点内积的组合(这经常能通过算法的对偶形式实现)
2、设法找到核函数K(xi,xj),它能返回样本点xi、xj被ϕ作用后的内积
3、用K(xi,xj)替换xi⋅xj、完成低维到高维的映射(同时也完成了从线性算法到非线性算法的转换)
对于任意一个损失函数和一个单调递增的正则化项组成的优化问题、我们都能够对其应用核技巧
两族核函数族
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/7376b08edef823d5e9ba0186d7eb80d9.png)
使用示例:感知机的对偶算法
感知机的对偶算法非核方法
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/64d68f8d224e4dbb16c0142570c76c38.png)
感知机的对偶算法非核方法
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/0b0d3a91c69856640e32973850c766f9.png)
使用示例:SVM的原始问题的核方法
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/0627732b29a5973261c4b1897bf12ad5.png)
使用示例:SVM的对偶问题的核方法
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/ed0a26a2a36bc76e280bb38d8f5ce13a.png)
使用核方法后:
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/08cf705699ab083740e9150c20bf9c17.png)