如何建立SVM模型并进行自动调参，以及径向基核函数的SVC与Nystroem+SGD方法的训练速度比较

已于 2023-02-14 23:34:30 修改
阅读量1.9k 收藏 26
点赞数 7
分类专栏： 机器学习 文章标签： python numpy svm 数据分析
于 2023-02-01 12:30:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chenshuo_Xu/article/details/128831709
版权

介绍

这次练习中，我们将使用葡萄酒质量数据集。该数据集包含葡萄酒的各种化学性质，如酸度、糖分、PH值和酒精含量等，还包括两列分别表示葡萄酒的质量（3-9，越高越好）和酒的颜色（红或者白）。数据保存在Wine_Quality_Data.csv文件中。

第一步：导入与处理数据

  • 导入数据
  • 绘制数据集的pairplot
  • 用color列创建目标变量y，y为只取0/1二值的列，1表示“red”
  • 计算每列与y的相关性，并显示成一个柱形图
  • 挑选出与y最相关（相关性的绝对值最大）的两列生成X
  • 用MinMaxScaler缩放X。注意：缩放后输出的是一个np.array，我们需要将它重新变成一个DataFrame
# read Wine_Quality_Data.csv into a DataFrame

import pandas as pd
data = pd.read_csv("Wine_Quality_Data.csv")
data.head()
fixed_acidityvolatile_aciditycitric_acidresidual_sugarchloridesfree_sulfur_dioxidetotal_sulfur_dioxidedensitypHsulphatesalcoholqualitycolor
07.40.700.001.90.07611.034.00.99783.510.569.45red
17.80.880.002.60.09825.067.00.99683.200.689.85red
27.80.760.042.30.09215.054.00.99703.260.659.85red
311.20.280.561.90.07517.060.00.99803.160.589.86red
47.40.700.001.90.07611.034.00.99783.510.569.45red
# draw pairplot

import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

sns.pairplot(data, hue='color')

<seaborn.axisgrid.PairGrid at 0x1ca6e8eabe0>

在这里插入图片描述

# create y

y = data.color.map(lambda x: 1 if x=='red' else 0)

# compute correlation of each column with "color"

fields = list(data.columns[:-1])
correlations = data[fields].corrwith(y)
correlations.sort_values(inplace=True)
correlations

total_sulfur_dioxide   -0.700357
free_sulfur_dioxide    -0.471644
residual_sugar         -0.348821
citric_acid            -0.187397
quality                -0.119323
alcohol                -0.032970
pH                      0.329129
density                 0.390645
fixed_acidity           0.486740
sulphates               0.487218
chlorides               0.512678
volatile_acidity        0.653036
dtype: float64

correlations.plot(kind='bar')

<AxesSubplot:>

在这里插入图片描述

# create X

fields = correlations.map(abs).sort_values().iloc[-2:].index
print(fields)

X = data[fields]

Index(['volatile_acidity', 'total_sulfur_dioxide'], dtype='object')

# use MinMaxScaler to scale X
import numpy as np

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler(feature_range = (0, 1))

scaler.fit(X)

X_scaled = scaler.transform(X)

X = pd.DataFrame(X_scaled)

print(X)

             0         1
0     0.413333  0.064516
1     0.533333  0.140553
2     0.453333  0.110599
3     0.133333  0.124424
4     0.413333  0.064516
...        ...       ...
6492  0.086667  0.198157
6493  0.160000  0.373272
6494  0.106667  0.241935
6495  0.140000  0.239631
6496  0.086667  0.211982

[6497 rows x 2 columns]

第二步：线性SVC

训练LinearSVC分类器，绘制并观察其决策边界（可以尝试多种不同的参数设置）。绘制决策边界的函数参考了sklearn文档中的例子。

# Helper function to plot a decision boundary.

def plot_decision_boundary(clf, X, y_color, h=0.01):
    # Set min and max values and generate a grid of points with gap h between them
    x_min, x_max = X[:, 0].min()-.1, X[:, 0].max()+.1
    y_min, y_max = X[:, 1].min()-.1, X[:, 1].max()+.1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
    
    # Predict the value for the whole gid
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    # Plot the contour and the training examples
    fig, ax = plt.subplots(figsize=(10, 10))
    ax.contourf(xx, yy, Z, cmap=plt.cm.autumn_r, alpha=0.3)
    ax.scatter(X[:, 0], X[:, 1], c=y_color, cmap=plt.cm.autumn_r, alpha=1)
    ax.set(xlabel=fields[0], ylabel=fields[1], title=str(clf))

# Pick 400 samples from X and get the corresponding y value. This is because original dataset is too large and it produces a crowded plot.
X_sample = X.sample(400, random_state=45)
y_sample = y.loc[X_sample.index]
# create y_color so that it has the value "red" for 1 and 'yellow' otherwise.
y_color = y_sample.map(lambda r: 'red' if r == 1 else 'yellow')

# plot the decision boundary for LinearSVC
from sklearn.svm import LinearSVC

lsvc = LinearSVC()
lsvc.fit(X, y)

plot_decision_boundary(lsvc, X_sample.values, y_color.values, h=0.005)

在这里插入图片描述

第三步：高斯核函数SVC

训练使用高斯核函数的SVC分类器，绘制并观察其决策边界随不同参数值的变化。

  • 用以下不同的gamma值分别创建高斯核函数SVC分类器，绘制并观察它们的决策边界：
    gammas = [.5, 1, 2, 10]
  • 保持gamma值不变（等于2），用以下不同的C值创建高斯核函数SVC分类器，绘制并观察它们的决策边界：
    Cs = [.1, 1, 10]
from sklearn.svm import SVC

gammas = [.5, 1, 2, 10]
for gamma in gammas:
    svc_Gaussian = SVC(kernel='rbf', gamma=gamma)
    svc_Gaussian.fit(X, y)
    plot_decision_boundary(svc_Gaussian, X_sample.values, y_color.values, h=0.005)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

# hold gamma=2, plot decision boundaries for different Cs.
Cs = [.1, 1, 10]
for C in Cs:
    svc_Gaussian = SVC(kernel='rbf', gamma=2, C = C)
    svc_Gaussian.fit(X, y)
    plot_decision_boundary(svc_Gaussian, X_sample.values, y_color.values, h=0.005)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

第三步：多项式核函数SVC

训练使用3次方的多项式核函数的SVC分类器，绘制并观察其决策边界随不同参数值的变化：

  • 用以下不同的C值创建多项式核函数SVC分类器，绘制并观察它们的决策边界：
    Cs = [10,20,100,200]
  • 找出能产生最佳决策边界的C值
# Try with Polynomial kernel SVC
Cs_new = [10, 20, 100, 200]
for C_new in Cs_new:
    svc_Gaussian = SVC(kernel='poly', degree = 3, C = C_new)
    svc_Gaussian.fit(X, y)
    plot_decision_boundary(svc_Gaussian, X_sample.values, y_color.values, h=0.005)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

第四步：Nystroem+SGD

比较径向基核函数的SVC与Nystroem+SGD方法的训练速度。使用Jupyter Notebook提供的魔术命令 %timeit 输出一个代码单元的运行时间。

  • 恢复最初的葡萄酒质量数据
  • 从“color”列生成y，其他列生成X
  • 用%%timeit输出一个径向基核函数SVC分类器的训练时间
  • 用%%timeit输出下面操作的运行时间：用Nystroem fit_transform数据，然后训练一个SGDClassifier

Nystroem+SGD一般会更快一些，尤其是数据集越大时优势越明显。

  • 把X复制5份并串接起来，生成一个五倍大的数据集
  • 相应地，把y也拷贝5份并串接起来，变成原来的五倍
  • 再次比较上面两种方法的训练速度
from sklearn.kernel_approximation import Nystroem
from sklearn.svm import SVC
from sklearn.linear_model import SGDClassifier

y = data.color == 'red'
X = data[data.columns[:-1]]

svc = SVC(kernel='rbf')
nystroem = Nystroem(kernel='rbf')
sgd = SGDClassifier()

%%timeit
svc.fit(X, y)

385 ms ± 4.49 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%%timeit
X_transformed = nystroem.fit_transform(X)
sgd.fit(X_transformed, y)

65 ms ± 2.57 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

X2 = pd.concat([X]*5)
y2 = pd.concat([y]*5)

print(X2.shape)
print(y2.shape)

(32485, 12)
(32485,)

%timeit
svc.fit(X2, y2)

SVC()

%%timeit
X2_transformed = nystroem.fit_transform(X2)
sgd.fit(X2_transformed, y2)

239 ms ± 9.98 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

第五步：自动调参

使用GridSearchCV自动调优SVC中的超参数：

  • 使用全部数据集
  • y 被定义为color = ‘red’
  • 其他列定义为 X
  • 划分训练集和测试集
  • 设置交叉验证的参数值，以及许多不同gamma 和 C 的值
  • 用GridSearchCV自动运行所有可能的参数值组合
  • 显示各种参数值组合运行得分的平均值和标准差
  • 输出最佳参数值组合
from sklearn import svm
from sklearn.utils import shuffle
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV

y = data.color == 'red'
X = data[data.columns[:-1]]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.30, random_state=101)

param_grid = {'C': [10, 20, 100, 200], 'gamma': [.5, 1, 2, 10], 'kernel': ['rbf']} 

grid = GridSearchCV(SVC(), param_grid, cv = 4, refit=True, verbose=1)

grid.fit(X_train,y_train)

grid.best_params_

Fitting 4 folds for each of 16 candidates, totalling 64 fits





{'C': 10, 'gamma': 0.5, 'kernel': 'rbf'}

means = grid.cv_results_["mean_test_score"]

stds = grid.cv_results_["std_test_score"]

params = grid.cv_results_["params"]

for std, mean, param in zip(stds, means, params):
    
    print("%f %f with: %r" % (std, mean, param))

0.005076 0.866945 with: {'C': 10, 'gamma': 0.5, 'kernel': 'rbf'}
0.005638 0.819661 with: {'C': 10, 'gamma': 1, 'kernel': 'rbf'}
0.003973 0.806026 with: {'C': 10, 'gamma': 2, 'kernel': 'rbf'}
0.003666 0.800967 with: {'C': 10, 'gamma': 10, 'kernel': 'rbf'}
0.005076 0.866945 with: {'C': 20, 'gamma': 0.5, 'kernel': 'rbf'}
0.005638 0.819661 with: {'C': 20, 'gamma': 1, 'kernel': 'rbf'}
0.003973 0.806026 with: {'C': 20, 'gamma': 2, 'kernel': 'rbf'}
0.003666 0.800967 with: {'C': 20, 'gamma': 10, 'kernel': 'rbf'}
0.005076 0.866945 with: {'C': 100, 'gamma': 0.5, 'kernel': 'rbf'}
0.005638 0.819661 with: {'C': 100, 'gamma': 1, 'kernel': 'rbf'}
0.003973 0.806026 with: {'C': 100, 'gamma': 2, 'kernel': 'rbf'}
0.003666 0.800967 with: {'C': 100, 'gamma': 10, 'kernel': 'rbf'}
0.005076 0.866945 with: {'C': 200, 'gamma': 0.5, 'kernel': 'rbf'}
0.005638 0.819661 with: {'C': 200, 'gamma': 1, 'kernel': 'rbf'}
0.003973 0.806026 with: {'C': 200, 'gamma': 2, 'kernel': 'rbf'}
0.003666 0.800967 with: {'C': 200, 'gamma': 10, 'kernel': 'rbf'}

第六步：预测与评价

用上一步得到的最佳的模型

  • 预测测试集中的数据
  • 显示混淆矩阵、精度和分类报告
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score
from sklearn.metrics import classification_report

grid_predictions = grid.predict(X_test)

print(confusion_matrix(y_test,grid_predictions))
print(classification_report(y_test,grid_predictions))

[[1446    5]
 [ 233  266]]
              precision    recall  f1-score   support

       False       0.86      1.00      0.92      1451
        True       0.98      0.53      0.69       499

    accuracy                           0.88      1950
   macro avg       0.92      0.76      0.81      1950
weighted avg       0.89      0.88      0.86      1950
Chenshuo_Xu
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python opencv+svm训练 车牌识别系统
04-07
车牌识别
SVM 调参策略
Wanda && Aidem
10-13 1万+
转自：SVM 调参策略：https://blog.csdn.net/u014484783/article/details/78220646 SVM 怎样能得到好的结果  1. 对数据做归一化（simple scaling）  2. 应用 RBF kernel  3. 用cross-validation和grid-search 得到最优的c和g  4. 用得到的最优c和g训练训练数据  5. 测试...
歌声转唱模型So-vits-svc4.1训练讲解，轻松做出声音克隆，数据处理和训练讲解（一）
最新发布
Davisshuail的博客
04-22 1389
大家好，最近各种AI孙燕姿、周杰伦火爆全网，我自己也跑了一遍目前比较歌声转唱效果比较好的So-vits-svc4.1模型，然后写了一个教程分享给大家。目前来说歌声转唱领域还属于未被完全发掘的领域，目前这个方向的顶刊论文不多，大部分互联网企业也没有针对这个方向去做一些文章，比如在给出这样的一个应用。毕竟涉及到名人的声音版权问题，但在对于我们个人，做做这个用作非商业化，以及用自己的声音去唱些有意思的歌还是可行的。
支持向量机高斯核调参小结
zdy0_2004的专栏
12-03 5310
http://www.cnblogs.com/pinard/p/6126077.html 　　　　在支持向量机(以下简称SVM)的核函数中，高斯核(以下简称RBF)是最常用的，从理论上讲， RBF一定不比线性核函数差，但是在实际应用中，却面临着几个重要的超参数的调优问题。如果调的不好，可能比线性核函数还要差。所以我们实际应用中，能用线性核函数得到较好效果的都会选择线性核函数。如果
如何利用决策树进行分类和回归预测
Chenshuo_Xu的博客
02-13 3951
本文将基于葡萄酒质量数据集，建立决策树分类和回归预测模型
【Python机器学习】SVM——调参
weixin_39407597的博客
01-11 1280
gamma参数用于控制高斯核的宽度，它决定了点与点之间“靠近”是指多大的距离，C参数是正则化参数，与线性模型类似，它限制了每个点的重要性(dual_coef_)。
SVM.zip_svm核函数_径向核函数_支持向量机_数据分类_核函数
09-20
本资料包" SVM.zip "包含了关于SVM的核心知识，特别是关于核函数的使用，特别是径向基函数（Radial Basis Function，RBF）核。 1. **SVM基本原理**： SVM的核心思想是找到一个最优超平面，使得不同类别的样本点在...
svm(matlab).zip_kriging和svm_matlab svm函数_svm拟合_svm插值_径向基近似
09-20
在MATLAB中，我们可以使用内置的`fitcsvm`函数来训练SVM模型，然后用`predict`函数进行预测。对于SVM拟合，`fitrsvm`函数可用于回归任务。至于插值，MATLAB的`griddata`函数支持包括RBF在内的多种插值方法。如果想...
svm.zip_SVM_fuelyju_多项式模型_核函数_正则化 SVM
09-15
在这个项目中，重点可能在于探索不同核函数（如多项式核和高斯核）以及各种λ值对模型性能的影响，并使用提供的数据集（如`LinearSeperableNoisy.csv`和`LinearlySeperableData.csv`）进行训练和验证。通过对这些...
绝对能用的SVM解决二分类问题，含水雷-岩石分类数据集并对四种核函数做调参.rar
09-17
含水雷-岩石分类数据集并对四种核函数做调参”表明这是一个关于支持向量机（SVM）在二分类问题上的应用实例，其中包含了处理水雷与岩石数据集的具体代码，并且对不同的核函数进行了参数调整。描述中提到，这个代码...
支持向量机_SVR_函数模型建立_多核_多核核函数_
10-03
高斯核，也称为径向基函数核，是应用最广泛的核函数之一，因为它能很好地模拟各种复杂的数据分布。 在标题中提到了"多核"，这指的是在同一模型中使用多个核函数。多核学习（Multi-Kernel Learning, MKL）允许结合...
SVC调参总结＋调参实例
微电子学与固体电子学-俞驰
12-16 1万+
degree:int型参数 默认为3 这个参数只对多项式核函数有用，是指多项式核函数的阶数n 如果给的核函数参数是其他核函数，则会自动忽略该参数。 ############################################## gamma：float参数 默认为auto 这个东西是哪里的呢？ e(−γ∣∣x1−x2∣∣2)e^{(-\gamma||x_1-x_2||^2)}e(−γ∣...
Python数据分析基础之描述性统计与建模(1)
CCH²¹的博客
02-28 3006
葡萄酒质量数据集   葡萄酒质量数据集包括两个文件——红葡萄酒文件和白葡萄酒文件。红葡萄酒文件中包含1599条观测，白葡萄酒文件包含4898条观测。两个文件中都有1个输出变量和11个输入变量。输出变量是酒的质量，是一个从0（低质量）到10（高质量）的评分。输入变量是葡萄酒的物理化学成分和特性，包括非挥发性酸、挥发性酸、柠檬酸、残余糖分、氯化物、游离二氧化硫、总二氧化硫、密度、pH值、硫酸盐和酒精含...
SVC调参
Ahead_J的博客
12-18 3829
在sklearn的SVC函数中，有两个非常重要的超参数：gamma和C 其中C = 1/alpha，C越大，表示正则化效果越弱，模型越复杂，容易过拟合；C越小，表示正则化效果越强，模型越简单，容易欠拟合； gamma是kernel=‘rbf’时自带的参数，公式表现为
SVM模型训练和调参
weixin_58222015的博客
02-05 2885
svm调参
SVC参数调整
kaqqaqq的博客
04-28 877
参数 kernel 可选参数 linear 擅长处理线性数据（利用直线进行分类 rbf 擅长处理偏非线性数据，但其在线性数据也有不错的表现 poly 擅长处理偏线性数据（利用曲线进行分类） sigmoid 擅长处理非线性数据，用于多分类 选择的原则 由于许多高维度的数据它并不能可视化，所以无法通过数据的形状对分类器进行选取 首先查看标签，利用遍历分类器的办法选择最佳的分类器 degree poly的特有参数，当处理线性问题的时，degree = 1，默认为3
Python 西瓜书机器学习支持向量机(SVM)
weixin_44056948的博客
09-15 1096
%matplotlib inline #为了在notebook中画图展示 import numpy as np import matplotlib.pyplot as plt from scipy import stats import seaborn as sns; sns.set() #随机来点数据 #其中 cluster_std是数据的离散程度 from sklearn.datasets.samples_generator import make_blobs X, y = make_b...
wine葡萄酒数据集KNN&SVM分类实验
热门推荐
子非鱼的博客
06-19 5万+
声明：本篇文章是本人课程作业的内容，只提供平时学习参考使用，请勿转载。 介绍：数据挖掘 来源：kaibo_lei_zzu 本片文章是使用分类算法KNN,和SVM支持向量机分类算法，对Wine数据集进行分类的实现。 1.1 wine数据集 Wine葡萄酒数据集是来自UCI上面的公开数据集，这些数据是对意大利同一地区种植的葡萄酒进行化学分析的结果，这些葡萄酒来自三个不同的品种。该分析确定了三种葡萄酒中...
SVM调参实例
huahuaxiaoshao的博客
01-03 5959
SVM调参实例 1.随机生成一些数据 %matplotlib inline import numpy as np import matplotlib.pyplot as plt from scipy import stats # use seaborn plotting defaults import seaborn as sns sns.set() # 随机生成一些数据 from sklearn...
训练 SVM 模型：使用 LIBSVM 训练 SVM 模型，分别采用线性核和高斯核，并对其进行调参。代码
06-12
好的，下面是使用 LIBSVM 训练 SVM 模型，分别采用线性核和高斯核，并对其进行调参的 Python 代码示例： ```python # 训练线性核 SVM 模型 linear_model = svm_train(train_data, '-t 0 -c 1') # 训练高斯核 SVM ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值