核函数的知识整理

本文介绍了核函数在解决线性不可分问题中的作用,解释了超平面、内积与分类的关系,并探讨了常用的核函数如线性、高斯和多项式核函数。核函数避免了高维映射的计算复杂性,通过内积转换实现低维到高维的间接映射。高斯核函数尤其能映射到任意维度,简化了计算过程。
摘要由CSDN通过智能技术生成

目录

多项式回归解决线性不可分问题

为什么要引入核函数

什么是超平面

内积与超平面和分类的关系

为什么需要提出核函数

常用核函数

 为什么高斯核函数能映射到任何一个维度上

核函数的满足条件


多项式回归解决线性不可分问题

对于分类,有些时候线性不可分,需要多项式回归结合逻辑回归得到想要的结果。

                                                               图1 线性不可分

多项式回归就是将低维数据映射到高维数据的过程,通过添加高阶项来完成。

为什么增加了高阶多项式之后,这样的分类问题就能够解决呢?

我们来举一个简单的例子,例如我们的数据是一维的:

我们没有办法使用一根直线将数据区分开来,因为不管怎么分,都会出现错误分类的情况:

如果原来的数据是 x ,我们给它增加一个维度 x2,从一维变成二维,数据就变成了这样:

我们可以用 y = x 这么一条直线将两者区分开来,这里设置 x2 为 y 轴。

回到一维中,其实就是这样的一条曲线 x2 - x = 0:

机器学习笔记029 | 核函数 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/30009055

为什么要引入核函数

在讨论这个问题之前,我们需要知道我们在对数据进行什么操作。我们的目标是通过低维向高维的转变,从而找到一个线性可分的解决方案来分类。

因此,首先我们需要把样本从低维空间转换为高维空间(或者说将样本返回到特征空间),这由映射来完成。也就是说需要一个转换函数

  • 3
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值