每日算法讲解（七）：使用支持向量机（SVM）进行机器学习分类任务

VX：zrd123124

于 2024-06-24 17:20:56 发布

阅读量872

点赞数 10

文章标签：支持向量机算法机器学习

本文链接：https://blog.csdn.net/qq_36517643/article/details/139931955

版权

使用支持向量机（SVM）进行机器学习分类任务

Gitcode上的热门项目探索

支持向量机（Support Vector Machine，SVM）是一种强大的监督学习算法，广泛用于分类和回归任务。SVM在处理高维数据、非线性分类问题和小样本学习中表现出色。本文将详细介绍SVM的基本原理，并展示如何使用SVM进行分类任务，包括代码实现和详细讲解。

支持向量机简介

支持向量机是一种基于几何理论的分类算法，通过找到一个超平面来最大化不同类别之间的间隔，从而实现分类。SVM的基本原理可以总结为以下几个步骤：

选择超平面：在特征空间中找到一个超平面，将不同类别的数据样本分开。
最大化间隔：选择使样本间隔最大的超平面，以提高分类的鲁棒性。
核函数：对于线性不可分的数据，通过核函数将数据映射到高维空间，使其线性可分。

SVM的关键概念

超平面（Hyperplane）：在特征空间中将不同类别样本分开的决策边界。
支持向量（Support Vector）：位于决策边界上的样本点，对分类结果有决定性影响。
间隔（Margin）：决策边界与支持向量之间的距离，SVM通过最大化间隔来提高分类的鲁棒性。
核函数（Kernel Function）：用于将低维空间的数据映射到高维空间，使其线性可分的函数，常用的核函数有线性核、径向基核（RBF）、多项式核等。

实现使用SVM的分类任务

下面我们将使用Python和Scikit-learn实现一个基于SVM的分类模型。假设我们使用的是著名的Iris数据集，该数据集包含150条鸢尾花的样本，分为三类。

数据预处理

首先，我们需要对数据进行预处理，将数据集划分为训练集和测试集。

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 读取数据
iris = load_iris()
X, y = iris.data, iris.target

# 特征标准化
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

定义SVM模型

接下来，我们定义一个SVM分类模型。

from sklearn.svm import SVC

# 定义模型
model = SVC(kernel='rbf', C=1.0, gamma='scale', random_state=42)

# 训练模型
model.fit(X_train, y_train)

模型评估

训练完成后，我们可以在测试集上评估模型的性能。

from sklearn.metrics import accuracy_score, classification_report

# 进行预测
y_pred = model.predict(X_test)

# 评估模型
accuracy = accuracy_score(y_test, y_pred)
report = classification_report(y_test, y_pred, target_names=iris.target_names)

print(f'Test accuracy: {accuracy:.4f}')
print('Classification report:')
print(report)

参数调优

我们可以通过网格搜索（Grid Search）来优化SVM模型的超参数，如惩罚参数C和核函数参数gamma的选择。

from sklearn.model_selection import GridSearchCV

# 定义网格搜索参数
param_grid = {'C': [0.1, 1, 10, 100], 'gamma': ['scale', 'auto'], 'kernel': ['rbf', 'linear']}

# 进行网格搜索
grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy')
grid_search.fit(X_train, y_train)

# 输出最佳参数和最佳得分
print(f'Best parameters: {grid_search.best_params_}')
print(f'Best cross-validation score: {grid_search.best_score_:.4f}')

# 使用最佳参数重新训练模型
best_model = grid_search.best_estimator_
best_model.fit(X_train, y_train)

# 重新评估模型
y_pred = best_model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f'Test accuracy with best model: {accuracy:.4f}')