支持向量机SVM

最新推荐文章于 2024-09-14 22:05:28 发布

不会忘的名字

最新推荐文章于 2024-09-14 22:05:28 发布

阅读量388

点赞数 1

分类专栏： Python 文章标签： Python 数据分析大数据

本文链接：https://blog.csdn.net/weixin_43896774/article/details/95963958

版权

本文介绍了支持向量机SVM的基本原理，包括最大几何间隔和拉格朗日乘子法，并通过Python实现SVM的线性分类、非线性分类。实战部分详细展示了如何画出决策边界，用SVM分离坐标点，以及使用多种核函数对iris数据集进行分类和进行回归分析，强调了核函数在非线性问题中的作用。

摘要由CSDN通过智能技术生成

支持向量机SVM（Support Vector Machine）

【关键词】支持向量，最大几何间隔，拉格朗日乘子法

一、支持向量机的原理

Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中“机”的意思是机器，可以理解为分类器。
那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。
见下图，在一个二维环境中，其中点R，S，G点和其它靠近中间黑线的点可以看作为支持向量，它们可以决定分类器，也就是黑线的具体参数。

SVM原理图.png
解决的问题：

线性分类

在训练数据中，每个数据都有n个的属性和一个二类类别标志，我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面（hyperplane），这个超平面可以将数据分成两部分，每部分数据都属于同一个类别。
其实这样的超平面有很多，我们要找到一个最佳的。因此，增加一个约束条件：这个超平面到每边最近数据点的距离是最大的。也成为最大间隔超平面（maximum-margin hyperplane）。这个分类器也成为最大间隔分类器（maximum-margin classifier）。
支持向量机是一个二类分类器。

非线性分类

SVM的一个优势是支持非线性分类。它结合使用拉格朗日乘子法和KKT条件，以及核函数可以产生非线性分类器。

SVM的目的是要找到一个线性分类的最佳超平面 f(x)=xw+b=0。求 w 和 b。
首先通过两个分类的最近点，找到f(x)的约束条件。
有了约束条件，就可以通过拉格朗日乘子法和KKT条件来求解，这时，问题变成了求拉格朗日乘子αi 和 b。
对于异常点的情况，加入松弛变量ξ来处理。
非线性分类的问题：映射到高维度、使用核函数。

二.实战

1.画出决策边界

导包sklearn.svm

import numpy as np
from sklearn.svm import SVC,SVR
import matplotlib.pyplot as plt
%matplotlib inline

随机生成数据，并且进行训练np.r_[]
生成数据

from sklearn.datasets import make_blobs

data, target = make_blobs(centers=2)
plt.scatter(data[:,0], data[:,1], c=target)

生成数据图片.png

训练模型，并训练

**如果是直线可以划分开的话,需要指定线性的核函数**
svc = SVC(kernel='linear')
svc.fit(data, target)

out:SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto', kernel='linear',
  max_iter=-1, probability=