【机器学习】使用scikitLearn进行SVM支持向量机进行回归

颢师傅

已于 2022-09-16 12:26:26 修改

阅读量1.3k

点赞数

分类专栏： python scikit-learn 机器学习文章标签：机器学习算法 python

于 2022-09-16 07:30:25 首次发布

本文链接：https://blog.csdn.net/hh1357102/article/details/126882965

版权

python 同时被 3 个专栏收录

89 篇文章 11 订阅

订阅专栏

机器学习

36 篇文章 5 订阅

订阅专栏

scikit-learn

27 篇文章 3 订阅

订阅专栏

本文介绍了如何使用scikit-learn库实现SVM支持向量机进行线性和非线性回归。通过调整epsilon参数，可以控制模型的宽容度，影响虚线范围和模型的泛化能力。在非线性数据集上，通过核技巧如多项式核函数，可以解决复杂回归问题。示例代码展示了不同参数设置对回归效果的影响，并强调了C参数对模型惩罚力度和泛化能力的决定作用。

摘要由CSDN通过智能技术生成

SVM支持向量机进行分类与回归操作：
【机器学习】使用scikitLearn进行SVM支持向量机进行回归
如果将分类用SVM算法的优化目标反转，使尽可能多的数据集实例出现在虚线中部，同时减少虚线外出现实例的数量。

对于线性回归，有参数epsilon：

from sklearn.svm import LinearSVR
svm_reg = LinearSVR(epsilon=1.5, random_state=42)
svm_reg.fit(X, y)

关于epsilon参数：越大虚线范围越宽。如果不确定，使用默认值0.epsilon越大，模型泛化能力越好，其值与预测值的大小相关。
在这里插入图片描述
该模型为epsilon不敏感，在固定epsilon的情况下，在虚线内添加更多实例，不改变回归结果。

对于非线性数据集，可以采用核技巧进行回归：

from sklearn.svm import SVR
svm_poly_reg = SVR(kernel="poly", degree=2, C=100, epsilon=0.1, gamma="scale")
svm_poly_reg.fit(X, y)

在固定epsilon的情况下，C值越大，对错分情况非惩罚越大，泛化性越差。
使用下列代码绘制下图：

fig, axes = plt.subplots(ncols=2, figsize=(9, 4), sharey=True)
plt.sca(axes[0])
plot_svm_regression(svm_poly_reg1, X, y, [-1, 1, 0, 1])
plt.title(r"$degree={}, C={}, \epsilon = {}$".format(svm_poly_reg1.degree, svm_poly_reg1.C, svm_poly_reg1.epsilon), fontsize=18)
plt.ylabel(r"$y$", fontsize=18, rotation=0)
plt.sca(axes[1])
plot_svm_regression(svm_poly_reg2, X, y, [-1, 1, 0, 1])
plt.title(r"$degree={}, C={}, \epsilon = {}$".format(svm_poly_reg2.degree, svm_poly_reg2.C, svm_poly_reg2.epsilon), fontsize=18)
save_fig("svm_with_polynomial_kernel_plot")
plt.show(