支持向量机SVM 原理实现

最新推荐文章于 2023-12-06 09:38:20 发布
最新推荐文章于 2023-12-06 09:38:20 发布
阅读量388 收藏 3
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 svm 支持向量机 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43653405/article/details/107452731
版权

记录一下学习的支持向量机实战过程，方便以后复习和查看。

支持向量机（SVM）

先导库

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# use seaborn plotting defaults
import seaborn as sns; sns.set()

支持向量基本原理

解决线性不可分问题，低维不可分问题转化为高维可分问题

例子

#用samples_generator模块随机生成样本数据
from sklearn.datasets.samples_generator import make_blobs
X, y = make_blobs(n_samples=50, centers=2,
                  random_state=0, cluster_std=0.60) #50个样本点，2个簇，每次随机的都一样的，簇的离散程度（越小越集中）
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')

在这里插入图片描述
随便的画几条分割线，哪个好来这？

xfit = np.linspace(-1, 3.5)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plt.plot([0.6], [2.1], 'x', color='red', markeredgewidth=2, markersize=10)

for m, b in [(1, 0.65), (0.5, 1.6), (-0.2, 2.9)]:
    plt.plot(xfit, m * xfit + b, '-k')

plt.xlim(-1, 3.5);

在这里插入图片描述

Support Vector Machines: 最小化 雷区

xfit = np.linspace(-1, 3.5)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')

for m, b, d in [(1, 0.65, 0.33), (0.5, 1.6, 0.55), (-0.2, 2.9, 0.2)]:
    yfit = m * xfit + b
    plt.plot(xfit, yfit, '-k')
    plt.fill_between(xfit, yfit - d, yfit + d, edgecolor='none',
                     color='#AAAAAA', alpha=0.4)

plt.xlim(-1, 3.5);

在这里插入图片描述

训练一个基本的SVM

from sklearn.svm import SVC # "Support vector classifier导入支持向量机分类器"
model = SVC(kernel='linear') #线性支持向量机、核变换支持向量机
model.fit(X, y)

SVC(kernel=‘linear’)

#绘图函数
def plot_svc_decision_function(model, ax=None, plot_support=True):
    """Plot the decision function for a 2D SVC"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()
    
    # create grid to evaluate model
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)
    
    # plot decision boundary and margins
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    
    # plot support vectors
    if plot_support:
        ax.scatter(model.support_vectors_[:, 0],
                   model.support_vectors_[:, 1],
                   s=300, linewidth=1, facecolors='none');
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(model);

在这里插入图片描述

  • 这条线就是我们希望得到的决策边界啦

  • 观察发现有3个点做了特殊的标记，它们恰好都是边界上的点

  • 它们就是我们的support vectors（支持向量）

  • 在Scikit-Learn中, 它们存储在这个位置 support_vectors_（一个属性）

model.support_vectors_  #拿到决策边界上点（支持向量）的坐标

array([[0.44359863, 3.11530945],
[2.33812285, 3.43116792],
[2.06156753, 1.96918596]])

  • 观察可以发现，只需要支持向量我们就可以把模型构建出来

  • 接下来我们尝试一下，用不同多的数据点，看看效果会不会发生变化

  • 分别使用60个和120个数据点

def plot_svm(N=10, ax=None):
    X, y = make_blobs(n_samples=200, centers=2,
                      random_state=0, cluster_std=0.60)
    X = X[:N]
    y = y[:N]
    model = SVC(kernel='linear', C=1E10)
    model.fit(X, y)
    
    ax = ax or plt.gca()
    ax.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    ax.set_xlim(-1, 4)
    ax.set_ylim(-1, 6)
    plot_svc_decision_function(model, ax)

fig, ax = plt.subplots(1, 2, figsize=(16, 6))
fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)
for axi, N in zip(ax, [60, 120]): #60个样本点和120个样本点
    plot_svm(N, axi)
    axi.set_title('N = {0}'.format(N))

在这里插入图片描述

  • 左边是60个点的结果，右边的是120个点的结果
  • 观察发现，只要支持向量没变，其他的数据怎么加无所谓！

引入核函数的SVM

  • 首先我们先用线性的核来看一下在下面这样比较难的数据集上还能分了吗？
from sklearn.datasets.samples_generator import make_circles
X, y = make_circles(100, factor=.1, noise=.1)

clf = SVC(kernel='linear').fit(X, y)

plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(clf, plot_support=False);

在这里插入图片描述

  • 分类效果不好，坏菜喽，分不了了，那咋办呢？试试高维核变换吧！
  • We can visualize this extra data dimension using a three-dimensional plot:
#加入了新的维度r，此处是2D->3D
from mpl_toolkits import mplot3d
r = np.exp(-(X ** 2).sum(1))
def plot_3D(elev=30, azim=30, X=X, y=y):
    ax = plt.subplot(projection='3d')
    ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap='autumn')
    ax.view_init(elev=elev, azim=azim)
    ax.set_xlabel('x')
    ax.set_ylabel('y')
    ax.set_zlabel('r')

plot_3D(elev=45, azim=45, X=X, y=y)

在这里插入图片描述

#加入径向基函数（高斯核函数）（高斯变换）
clf = SVC(kernel='rbf', C=1E6)
clf.fit(X, y)

SVC(C=1000000.0)

#这回牛逼了！
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(clf)
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1],
            s=300, lw=1, facecolors='none');

在这里插入图片描述

使用这种核支持向量机，我们学习一个合适的非线性决策边界。这种核变换策略在机器学习中经常被使用！

调节SVM参数: Soft Margin问题

调节C参数

  • 当C趋近于无穷大时：意味着分类严格不能有错误
  • 当C趋近于很小的时：意味着可以有更大的错误容忍

引入松弛因子

X, y = make_blobs(n_samples=100, centers=2,
                  random_state=0, cluster_std=0.8) #0.8：离散程度变大了
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn');

在这里插入图片描述

X, y = make_blobs(n_samples=100, centers=2,
                  random_state=0, cluster_std=0.8)

fig, ax = plt.subplots(1, 2, figsize=(16, 6))
fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)

for axi, C in zip(ax, [10.0, 0.1]):
    model = SVC(kernel='linear', C=C).fit(X, y)
    axi.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    plot_svc_decision_function(model, axi)
    axi.scatter(model.support_vectors_[:, 0],
                model.support_vectors_[:, 1],
                s=300, lw=1, facecolors='none');
    axi.set_title('C = {0:.1f}'.format(C), size=14)

在这里插入图片描述

引入松弛参数后，决策边界变大，需要用交叉验证看哪个好

X, y = make_blobs(n_samples=100, centers=2,
                  random_state=0, cluster_std=1.1)

fig, ax = plt.subplots(1, 2, figsize=(16, 6))
fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)

for axi, gamma in zip(ax, [10.0, 0.1]):
    model = SVC(kernel='rbf', gamma=gamma).fit(X, y) #gamma控制模型的复杂程度，越高代表维度越高
    axi.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    plot_svc_decision_function(model, axi)
    axi.scatter(model.support_vectors_[:, 0],
                model.support_vectors_[:, 1],
                s=300, lw=1, facecolors='none');
    axi.set_title('gamma = {0:.1f}'.format(gamma), size=14)

在这里插入图片描述

大gamma值==>复杂模型更能分的清楚，但是越复杂的边界泛化能力越低，选右边的！

上课不要摸鱼江
关注
专栏目录
【智能算法】支持向量机SVM算法实现
Fanjufei的博客
11-03 230
支持向量机SVM算法实现
SVM支持向量机的实现
weixin_42406148的博客
04-16 537
首次上传时间：2019-4-16（持续修改） 由于暂时没有深入研究，理论方面暂时不写了。具体参考大牛写的，据说修补三年成型。如果你要了解SVM，打滚推荐。 传送点：https://blog.csdn.net/v_july_v/article/details/7624837 下面的代码几乎每一行都一一和上面博客对照了，有问题欢迎讨论。 实现思路： 出于测试的目的，我将整个代码分为了三个独立运行的文件...
SVM支持向量机原理及代码实现（包含数学原理，超详细）
weixin_50730517的博客
07-23 2872
本文介绍了SVM的基本原理以及求解SVM问题的算法，并结合了数学原理，使文章的可读性增加
支持向量机原理与实现
gujun5168698的博客
03-15 375
一、模型 机器学习中我们最开始接触的都是感知机，感知机就是一个阶跃函数，阶跃函数的自变量是一个多元线性函数，cost function则是。而支持向量与感知机类似，只是将阶跃函数挖去（-1到1这个区间），要使两个平行的超平面间间隔最大，只需w二范数最小即可。约束条件是.关于约束条件的理解，取等号时刚好在支持向量上，不取等号时说明在平面的对应的一侧。 理解了问题的本质，现在就是怎么用数学去解决这...
支持向量机的实现
m0_63480327的博客
12-03 49
我们首先需要找到正例和负例样本点，这些样本点距离这条超平面是最小的，因此可以在这几个样本点上做出与超平面方程平行的平行线，那么r可以表示为距离最近的样本点到这条支持向量的距离，即点到直线的距离，公式如图。||w||为欧氏距离平方开根号。从预测的结果看，俩个高维向量的累积是成对存在的，没有单独于式子中，那么我们可以将这对高维向量用其他式子替代，且这个式子相对好算，那么我们可以打成目的！如上图，将x替换为更高维的向量，带入超平面方程，利用拉格朗日乘子法，对w和b求偏导，使得为0，带入原式，可得如上方程。
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
04-29
在压缩包中的"基于python的粒子群算法PSO优化支持向量机SVM设计与实现"文件中，很可能是详细介绍了如何结合Python编程语言和PSO算法来优化SVM模型的实现步骤，包括代码示例和可能的结果分析。读者可以通过阅读这份...
Python中的支持向量机SVM的使用（附实例代码）
09-19
### Python中的支持向量机SVM使用详解及实例 #### 一、引言 支持向量机（Support Vector Machine, SVM）是一种广泛应用于分类与回归分析的监督学习模型。其核心思想是在高维空间中寻找一个最佳超平面，使得两个不同...
实战案例-使用支持向量机（SVM）算法进行人脸识别
06-17
本案例使用支持向量机（SVM）算法实现人脸识别功能。 算法内容包括： 1、获取数据集 2、数据划分 3、PCA特征提取 4、使用线性SVM进行预测 5、交叉验证 6、超参数调优 7、预测结果分析 8、混淆矩阵评估
葡萄酒支持向量机SVM分类
04-15
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，广泛应用于分类和回归问题。在本示例中，“葡萄酒支持向量机SVM分类”是利用SVM来对葡萄酒数据进行分类的实践项目。这个压缩包可能包含了...
【SVM预测】基于松鼠算法优化支持向量机SVM实现数据预测附matlab代码.zip
05-06
1. 支持向量机（SVM）的基本原理和应用 2. SVM的参数优化，特别是C和γ的重要性 3. 松鼠算法（SA）的优化机制及其在全局搜索中的优势 4. 如何使用Matlab实现SVM模型，并结合松鼠算法进行参数优化 5. SVM在数据预测中...
支持向量机（SVM）
热门推荐
星辰的博客
01-17 3万+
算法简介 支持向量机(SVM)是种二类分类模型。 它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机:支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机学习方法包含构建由简至繁的模型:线性可分支持向量机、线性支持向量机以及非线性支持向量机。简单模型是复杂模型的基础，也是复杂模型的特殊情况。当训练数据线
支持向量机(SVM)
weixin_46075647的博客
11-12 1373
文章目录一、SVM介绍二、 基于SVM处理月亮数据集分类1. 基于线性核函数2. 基于多项式核3. 基于高斯核三、 基于SVM处理鸢尾花数据集分类1、基于线性核2、基于多项式核四、总结五、参考链接 一、SVM介绍 1、线性可分支持向量机： 给定线性可分的训练数据集，通过（硬）间隔最大化或者等价的求解相应的凸二次规划问题学习得到的分离超平面为：w∗x+b=0w∗x+b=0 以及相应的分类决策函数： f(x)=sign(w∗x)+bf(x)=sign(w∗x)+b。 2、线性支持向量机 给定线性不可分的训练数据
SVM（上):如何用一根棍子将蓝红两色球分开?
spire_di
09-17 1020
SVM 的英文叫 Support Vector Machine，中文名为支持向量机。它是常见的一种分类方法，在机器学习中，SVM 是有监督的学习模型。 什么是有监督的学习模型呢？它指的是我们需要事先对数据打上分类标签，这样机器就知道这个数据属于哪个分类。同样无监督学习，就是数据没有被打上分类标签，这可能是因为我们不具备先验的知识，或者打标签的成本很高。所以我们需要机器代我们部分完成这个工作，比如将数据进行聚类，方便后续人工对每个类进行分析。SVM 作为有监督的学习模型，通常可以帮我们模式识别、分类以及回归分
机器学习——支持向量机（SVM）
最新发布
m0_70744324的博客
12-06 3150
支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化。SVM的目标就是要找到这个超平面。支持向量机思想直观，但细节复杂，涵盖凸优化，核函数，拉格朗日算子等理论。问题运行时报错解决方法：降低numpy版本后成功运行。总结在分类问题中，SVM是一种很优秀的机器学习算法。SVM可以有效的分离高维度的数据，更节省内存空间，因为只需要用向量来创建最佳超平面，是针对于可分离数据集的最佳方法。
支持向量机SVM
Irving_zhang的专栏
07-13 1837
1、简介 理解SVM，咱们必须先弄清楚一个概念：线性分类器。     给定一些数据点，它们分别属于两个不同的类，现在要找到一个线性分类器把这些数据分成两类。如果用x表示数据点，用y表示类别（y可以取1或者-1，分别代表两个不同的类），一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面（hyper plane），这个超平面的方程可以表示为（ wT中的T代表转置）：
深度解析：支持向量机SVM原理与应用
支持向量机（Support Vector Machine, SVM）是一种强大的二类分类算法，其核心思想在于寻找特征空间中的最优超平面，该超平面能够最大化样本点到其两侧的间隔，也就是所谓的“最大边际”。SVM的基本模型定义了一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值