机器学习中的特征变换(核函数)

在处理线性不可分数据时,机器学习常采用特征变换或核函数将数据投影到高维空间,以实现线性可分。线性核、多项式核和径向基(高斯)核是常用的核函数类型,它们避免了高维空间计算的困难,提升了计算效率。
摘要由CSDN通过智能技术生成

在机器学习中,我们提供的数据不一定都是完全线性可分的,很多情况下会存在线性不可分,可是我们需要处理成线性可分,所以我们可以采用特征变换或者核函数的形式,把数据投影到别的空间。数据在A空间不可分,投影到B空间就可能会线性可分,B空间的维度一般会高于A空间的维度。

1.一般情况下,我们考虑将数据投影到别的空间,比如采用多项式。假设x的维度d,如果投影到别的空间,维度会急剧增大,造成维度灾难。维度比较高,在求解过程中就会存在问题,比如你在求解SVM的时候,存在不同元素之间的内积,如果投影过去变成10000维,那么计算内积就要10000次,在继续增大的话可能导致无法计算。使得计算效率十分低下。很多情况下无法计算。

2.为了解决上面的这个问题,我们采用的思路不是先投影,而是把投影和内积和在一起计算,称为kernel function(核函数)。计算核函数来替代其他的计算。

以下是几种常用的核函数表示:

线性核(Linear Kernel)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值