核方法(kernel method)(一)-Basic idea

最新推荐文章于 2023-03-11 15:03:51 发布

zhou_zjuer

最新推荐文章于 2023-03-11 15:03:51 发布

阅读量530

点赞数

分类专栏： kernel method 文章标签：机器学习数据分析 kernel

本文链接：https://blog.csdn.net/baidu_40614951/article/details/107724922

版权

本文介绍了核方法的基本思想，通过映射将不可线性分割的数据转换到高维空间使其线性可分。通过一个简单的分类算法展示了核函数的作用，并讨论了核函数的性质，强调了有限半正定的重要性。文章还提到了常用的核函数，并以Python实现了一个简单的二分类算法，尽管在实际问题中可能需要更合适的核函数选择。

摘要由CSDN通过智能技术生成

核方法(kernel method)(一)-Basic idea

在阅读迁移学习论文的时候，感觉自己kernel method方面不是很清楚，所以观看了李振轩老师的《kernel method》视频课程B站链接。用python实现了课程中提到的各种算法。代码的github仓库。个人水平有限，难免贻笑于大方之家。望大家多批评指正。

文章目录

- - 核方法(kernel method)(一)-Basic idea

1 基本想法

利用某个函数 $\phi$ ,将不可线性分割的feature向量映射到可以线性分割的高维空间中。

例如下面的例子，本来需要椭圆曲线分开的二维平面的点，经过 $\phi$ 映射到三维中，就可以用一个平面分割了。
$\phi : R^2 \rightarrow R^3 \\ (x_1,x_2) \rightarrow (z_1,z_2,z_3) = (x_1^2,\sqrt{2}x_1x_2,x_2^2)$

在这里插入图片描述

这个例子的代码在此simple_example.ipynb

对于这一个 $\phi$ ,可以证明映射后的内积等于映射前的内积的平方。
$<\phi(x),\phi(x')> = (<x,x'>)^2$
我们将映射后的两个特征的内积叫做核函数K
$<\phi(x),\phi(x')>$
为什么需要这一个核函数K, 因为有了这一个核函数K,我们并不需要真正的求出一个映射 $\phi$ ，然后将数据映射。只需要计算数据之间的内积就行。这是由于，空间的几何性质，例如距离和角度，都能用内积来获得。

使用内积来表示距离
$\begin{array}{l} \left\|\phi(x)-\phi\left(x^{\prime}\right)\right\|^{2}=\left(\phi(x)-\phi\left(x^{\prime}\right)\right)^{2}\left(\phi(x)-\phi\left(x^{\prime}\right)\right) \\ =\phi(x)^{2} \phi(x)-2 \phi(x)^{2} \phi\left(x^{\prime}\right)+\phi\left(x^{\prime}\right)^{2} \phi\left(x^{\prime}\right) \\ =<\phi(x), \phi(x)>-2<\phi(x), \phi\left(x^{\prime}\right)>+<\phi\left(x^{\prime}\right), \phi\left(x^{\prime}\right)> \\ =\kappa(x, x)-2 \kappa\left(x, x^{\prime}\right)+\kappa\left(x^{\prime}, x^{\prime}\right) \end{array}$
使用内积来表示角度