支持向量机 Support Vector Machine

JasonH2021

已于 2023-10-03 09:34:57 修改

阅读量2.6k

点赞数

分类专栏：机器学习算法文章标签：机器学习支持向量机算法

于 2023-05-27 11:40:32 首次发布

本文链接：https://blog.csdn.net/JasonH2021/article/details/128338528

版权

机器学习算法专栏收录该内容

34 篇文章 24 订阅

订阅专栏

七、类库scikit-learn实现支持向量机的例子

八、支持向量机SVM的模型参数

总结

前言

支持向量机是机器学习中有监督学习的一种算法。

一、支持向量机是什么？

支持向量机是用于分类和回归的强大判别模型。通过拟合超平面（二维空间中，是一条直线），来对样本进行分割，达到分类或预测的目的。
当线性模型逼近非线性模型时，可以通过映射等方法，增加特征空间的维度（比如：多元线性回归模型中加入二阶或三阶项构建多项式回归）来有效的达到建模预测的目的。但同时也带来了两个问题，巨量计算和模型的泛化能力，被称为维度诅咒。支持向量机就是解决维度诅咒问题的一种有效方法。它通过核技巧（快速获得原始特征向量映射后的相同标量），对特征进行有效的缩放，最大化决策边界和靠近决策边界训练实例之间的边距，减少了计算量，提高了模型的泛化能力。

二、支持向量机的优点和缺点

1. 优点：

高准确率：SVM在处理小样本数据时，可以通过核函数将低维数据映射到高维空间中，从而提高分类准确率。
可以处理高维数据：SVM可以有效地处理高维数据，避免了维数灾难问题。
可以处理非线性关系：SVM可以使用核函数处理自变量和因变量之间的非线性关系。
可以避免局部极小值：SVM使用的优化方法可以避免陷入局部极小值，从而提高模型的稳定性和泛化能力。
概率输出：SVM模型可以输出分类结果的概率，可以用于评估分类结果的置信度。
可以进行特征选择：SVM模型可以使用L1正则化方法进行特征选择，提高模型的泛化能力和解释性。
可以处理缺失值：SVM模型可以处理缺失值，可以使用插值、删除等方法进行缺失值处理。
可以处理非平衡数据：SVM模型可以通过设置不同的类别权重来处理非平衡数据，从而提高模型的分类准确率。

2. 缺点：

对参数敏感：SVM模型中的核函数和正则化参数等参数的选择对模型的性能影响较大，需要进行调参才能获得最佳性能。
计算复杂度高：SVM的计算复杂度较高，特别是在处理大规模数据集时，需要消耗大量计算资源。
可解释性差：SVM模型的系数难以解释，不具备明确的物理或经济意义。
不适用于多分类问题：SVM本身只适用于二元分类问题，需要使用多类别分类方法将其扩展到多分类问题。
需要注意的是，在实际应用中，SVM模型通常会和其他模型结合使用，以提高预测准确率。同时，为了解决模型参数选择和计算复杂度等问题，可以使用网格搜索、交叉验证、核函数选择等技术进行优化。

三、支持向量机的应用场景

支持向量机（SVM）是一种常用的分类和回归算法，其应用场景包括但不限于以下几个方面：

图像识别：SVM可以用于图像分类、目标检测等任务，例如人脸识别、车辆识别、手写字符识别等。
生物信息学：SVM可以用于基因分类、蛋白质分类、药物分类等任务，例如预测蛋白质的结构、预测药物的活性等。
金融风险管理：SVM可以用于信用评估、欺诈检测等任务，例如预测客户是否具有违约风险、预测信用卡交易是否为欺诈等。
医学诊断：SVM可以用于疾病诊断、药物筛选等任务，例如预测肿瘤是否为恶性、预测药物对疾病的疗效等。
自然语言处理：SVM可以用于文本分类、情感分析等任务，例如预测文本是否属于某个类别、预测文本的情感极性等。
工业控制：SVM可以用于工业过程控制、故障诊断等任务，例如预测工业设备的故障、预测产品的质量等。
环境监测：SVM可以用于环境监测、污染物预测等任务，例如预测大气污染物的浓度、预测水质是否达标等。
物联网：SVM可以用于物联网中的数据分类、异常检测等任务，例如预测传感器数据是否异常、预测设备是否需要维修等。
能源管理：SVM可以用于能源管理、能源负荷预测等任务，例如预测能源需求、预测能源价格等。
地质勘探：SVM可以用于地质勘探、矿产资源预测等任务，例如预测矿产资源的类型、预测矿产资源的储量等。

需要注意的是，SVM的应用场景非常广泛，只要需要进行分类或回归的任务，就可以考虑使用SVM进行建模和预测。同时，在实际应用中，SVM通常会和其他模型结合使用，以提高预测准确率。

四、构建支持向量机模型的注意事项

支持向量机涉及到边距的计算，而且计算量大，对原始数据进行缩放，统一量纲很有必要。中心标准化是一种简单有效的方法。

五、支持向量机模型的实现类库

Python中有多个库可以实现支持向量机，以下是其中比较常用的几个库：

scikit-learn：scikit-learn是Python中常用的机器学习库，其中包含了多个支持向量机模型，包括线性支持向量机、非线性支持向量机等。
LIBSVM：LIBSVM是一个C++实现的支持向量机库，但也提供了Python接口，可以用于实现支持向量机。
TensorFlow：TensorFlow是Google开发的深度学习框架，其中也包含了支持向量机模型。
PyTorch：PyTorch是另一个常用的深度学习框架，其中也包含了支持向量机模型。
Theano：Theano是另一个深度学习框架，其中也包含了支持向量机模型。
SVMlight：SVMlight是一个C++实现的支持向量机库，但也提供了Python接口，可以用于实现支持向量机。

以上这些库都提供了丰富的接口和功能，可以满足不同场景下的需求。需要注意的是，在使用这些库时，需要根据具体情况选择合适的模型、参数和评估指标，以获得更好的预测效果。

六、支持向量机模型的评价指标

1. 回归模型的评价指标有：

均方误差（Mean Squared Error，MSE）是预测值与真实值之间差值的平方的平均值，用来衡量模型的预测精度，MSE 越小，说明模型的预测结果越准确。
均方根误差（Root Mean Squared Error，RMSE）是均方误差的平方根，用来衡量模型的预测精度，RMSE 越小，说明模型的预测结果越准确。
平均绝对误差（Mean Absolute Error，MAE）是预测值与真实值之间差值的绝对值的平均值，用来衡量模型的预测精度，MAE 越小，说明模型的预测结果越准确。
决定系数（Coefficient of Determination，R-squared）用来衡量模型对数据的拟合程度，取值范围为 0~1，R-squared 越接近 1，说明模型对数据的拟合程度越好。

2. 分类模型的评价指标有：

准确率（Accuracy）是指分类正确的样本数占总样本数的比例，用来衡量模型的分类准确度。
精确率（Precision）是指分类为正类的样本中，实际为正类的样本数占分类为正类的样本数的比例，用来衡量模型对正类的分类准确度。
召回率（Recall）是指实际为正类的样本中，被分类为正类的样本数占实际为正类的样本数的比例，用来衡量模型对正类的识别能力。
F1 分数（F1-score）是精确率和召回率的调和平均数，用来综合衡量模型的分类准确度和识别能力。
ROC 曲线和 AUC 值是用来评估二元分类器性能的常用指标。ROC 曲线是以假正率（False Positive Rate，FPR）为横轴，真正率（True Positive Rate，TPR）为纵轴，绘制出来的曲线。AUC 值是 ROC 曲线下面积的大小，取值范围为 0~1，AUC 值越大，说明分类器的性能越好。

七、类库scikit-learn实现支持向量机的例子

下面是支持向量机进行回归建模的示例：

# 步骤1：导入必要的库和数据集

import numpy as np
from sklearn.svm import SVR
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 导入数据集
X = np.array([[1, 1], [2, 2], [3, 3], [4, 4], [5, 5]])
y = np.array([2, 3, 4, 5, 6])

# 步骤2：拆分数据集为训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 步骤3：创建并训练支持向量机回归模型

# 创建支持向量机回归模型
svr = SVR(kernel='linear')

# 训练模型
svr.fit(X_train, y_train)

# 步骤4：使用训练好的模型进行预测

# 预测
y_pred = svr.predict(X_test)

# 步骤5：评估模型

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print("均方误差：", mse)

下面是支持向量机（SVM）解决分类任务建模的示例：

# 1. 导入所需的库和模块：

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 2. 准备数据集，将特征数据和标签数据分别存储在X和y中。

# 假设特征数据存储在X中，标签数据存储在y中
X = ...
y = ...

# 3. 划分训练集和测试集。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 4. 创建SVM模型，并进行训练。

model = SVC(kernel='linear', C=1.0)
model.fit(X_train, y_train)

# 5. 使用训练好的模型进行预测。

y_pred = model.predict(X_test)

# 6. 模型评价。

accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print("Accuracy:", accuracy)
print("Precision:", precision)
print("Recall:", recall)
print("F1 Score:", f1)

在上述代码中，我们使用线性核函数（kernel='linear'）和惩罚参数C为1.0来创建SVM模型。你可以根据具体问题和数据集调整这些参数。模型评价使用了准确率（accuracy）、精确率（precision）、召回率（recall）和F1值（f1 score）等指标来评估模型的性能。