【机器学习】使用scikitLearn进行SVM支持向量机非线性分类

36 篇文章 5 订阅
27 篇文章 3 订阅

SVM支持向量机进行分类与回归操作:
【机器学习】使用scikitLearn进行SVM支持向量机线性分类
【机器学习】使用scikitLearn进行SVM支持向量机进行回归
一、添加多项式特征
对于非线性可分的数据集,线性SVM分类器需要添加跟多的特征,常见的有先经多项式特征处理:

from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures

polynomial_svm_clf = Pipeline([
        ("poly_features", PolynomialFeatures(degree=3)),
        ("scaler", StandardScaler()),
        ("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42))
    ])

polynomial_svm_clf.fit(X, y)

前面提到过,对于高阶多项式特征添加,时间复杂度是阶乘级增加的。
为解决这一问题,SVM有核技巧,通过数学变换,达到跟添加多项式特征近似的效果,同时避免了复杂度激增:
下面的代码使用了多项式核:

from sklearn.svm import SVC

poly_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
    ])
poly_kernel_svm_clf.fit(X, y)

其中参数的意义见下表:
在这里插入图片描述
一般而言,采用网格搜索的方式,确定核函数中的各项参数。
二、添加相似特征
采用高斯径向基函数(RBF)作为相似函数,计算相似特征替代原特征,再以新特征进行分类。
这种方法的特点是,先选地标,一般将每个原实例设为一个地标,这样原先m个实例变成m个地标,每个地标变成转换后的一个新特征,即新数据实例集转换为m个特征。
时间开销较大,比较适用于待分类数据集实例数小于特征数的情况。
代码如下:

rbf_kernel_svm_clf = Pipeline([
        ("scaler", StandardScaler()),
        ("svm_clf", SVC(kernel="rbf", gamma=5, C=0.001))
    ])
rbf_kernel_svm_clf.fit(X, y)

在这里插入图片描述
如图gamma 和 C 越小,其分类器泛化程度越好。越高则倾向于过拟合。
(gamma值使高斯函数钟形曲线越债,影响同单个实例越紧密)

实际上,核函数有很多,不同核函数可以适应不同领域的数据集,一般从线性核函数开始进行尝试,LinearSVC比SVC(kernel=“linear”)快得多。
liblinear库为线性SVM实现了一个优化算法,LinearSVC正是基于该库的。该算法不支持核技巧,不过它与训练实例的数量和特征数量几乎呈线性相关:其训练时间复杂度大致为O(m×n)。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颢师傅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值