目录
多项式回归解决线性不可分问题
对于分类,有些时候线性不可分,需要多项式回归结合逻辑回归得到想要的结果。
图1 线性不可分
多项式回归就是将低维数据映射到高维数据的过程,通过添加高阶项来完成。
为什么增加了高阶多项式之后,这样的分类问题就能够解决呢?
我们来举一个简单的例子,例如我们的数据是一维的:
我们没有办法使用一根直线将数据区分开来,因为不管怎么分,都会出现错误分类的情况:
如果原来的数据是 x ,我们给它增加一个维度 x2,从一维变成二维,数据就变成了这样:
我们可以用 y = x 这么一条直线将两者区分开来,这里设置 x2 为 y 轴。
回到一维中,其实就是这样的一条曲线 x2 - x = 0:
机器学习笔记029 | 核函数 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/30009055
为什么要引入核函数
在讨论这个问题之前,我们需要知道我们在对数据进行什么操作。我们的目标是通过低维向高维的转变,从而找到一个线性可分的解决方案来分类。
因此,首先我们需要把样本从低维空间转换为高维空间(或者说将样本返回到特征空间),这由映射来完成。也就是说需要一个转换函数