深入理解SVM

最新推荐文章于 2022-07-19 08:13:42 发布
最新推荐文章于 2022-07-19 08:13:42 发布
阅读量1k 收藏
点赞数
文章标签： 支持向量机 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y000827/article/details/121285311
版权

一、SVM

支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。SVM的算法核心是找到几何间距，找到几何间距margin，处理线性可分问题，对应的非线性问题处理方法是：非线性VM
需要详细了解SVM，参考文章
SVM原理介绍

二、示例代码重做

1、鸢尾花数据集

  • 绘制
import numpy as np
from sklearn import datasets   #导入数据集
import matplotlib.pyplot as plt  
from sklearn.preprocessing import StandardScaler
from matplotlib.colors import ListedColormap
# 边界绘制函数
def plot_decision_boundary(model,axis):
    x0,x1=np.meshgrid(
        np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1))
    # meshgrid函数是从坐标向量中返回坐标矩阵
    x_new=np.c_[x0.ravel(),x1.ravel()]
    y_predict=model.predict(x_new)#获取预测值
    zz=y_predict.reshape(x0.shape)
    custom_cmap=ListedColormap(['#EF9A9A','#FFF59D'])
    plt.contourf(x0,x1,zz,cmap=custom_cmap)
iris = datasets.load_iris()
data_x = iris.data[:, :2] 
data_y = iris.target
scaler=StandardScaler()# 标准化
data_x = scaler.fit_transform(data_x)#计算训练数据的均值和方差
plt.rcParams["font.sans-serif"] = ['SimHei']    # 用来正常显示中文标签，SimHei是字体名称，字体必须在系统中存在，字体的查看方式和安装第三部分
plt.rcParams['axes.unicode_minus'] = False     # 用来正常显示负号
plt.scatter(data_x[data_y==0, 0],data_x[data_y==0, 1])    # 选取y所有为0的+X的第一列
plt.scatter(data_x[data_y==1, 0],data_x[data_y==1, 1])    # 选取y所有为1的+X的第一列

plt.xlabel('sepal length')    # 设置横坐标标注xlabel为sepal width
plt.ylabel('sepal width')    # 设置纵坐标标注ylabel为sepal length
plt.title('sepal散点图')    # 设置散点图的标题为sepal散点图
plt.show()

在这里插入图片描述

  • 线性处理
from sklearn.svm import LinearSVC
svc_line = LinearSVC(C =1e9,max_iter=1000000) #线性SVM分类器
svc_line.fit(data_x,data_y)#训练svm
plot_decision_boundary(svc_line,axis=[-3,3,-3,4])
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1])

plt.scatter(data_x[data_y==2,0],data_x[data_y==2,1])
plt.show()

在这里插入图片描述

  • 多项式分类
from sklearn.preprocessing import PolynomialFeatures #导入多项式回归
from sklearn.pipeline import Pipeline #导入python里的管道
def PolynomialSVC(degree,c=5):#多项式svm
    """
    :param d:阶数
    :param C:正则化常数
    :return:一个Pipeline实例
    """
    return Pipeline([
            # 将源数据 映射到 3阶多项式
            ("poly_features", PolynomialFeatures(degree=degree)),
            # 标准化
            ("scaler", StandardScaler()),
            # SVC线性分类器
            ("svm_clf", LinearSVC(C=c, loss="hinge", random_state=10,max_iter=100000))
        ])

poly_svc=PolynomialSVC(degree=5)
poly_svc.fit(data_x,data_y)
plot_decision_boundary(poly_svc,axis=[-3,4,-4,5])
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1])
plt.scatter(data_x[data_y==2,0],data_x[data_y==2,1])
plt.show()

在这里插入图片描述

  • 高斯核
from sklearn.svm import SVC #导入svm
def RBFKernelSVC(gamma=1.0):
    return Pipeline([
        ('std_scaler',StandardScaler()),
        ('svc',SVC(kernel='rbf',gamma=gamma))
    ])
svc=RBFKernelSVC(gamma=42)#gamma参数很重要，gamma参数越大，支持向量越小
svc.fit(data_x,data_y)
plot_decision_boundary(svc,axis=[-3,3,-3,4])
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1])
plt.scatter(data_x[data_y==2,0],data_x[data_y==2,1])
plt.show()

在这里插入图片描述

from sklearn.svm import SVC #导入svm
def RBFKernelSVC(gamma=1.0):
    return Pipeline([
        ('std_scaler',StandardScaler()),
        ('svc',SVC(kernel='rbf',gamma=gamma))
    ])
svc=RBFKernelSVC(gamma=500)#gamma参数很重要，gamma参数越大，支持向量越小
svc.fit(data_x,data_y)
plot_decision_boundary(svc,axis=[-3,3,-3,4])
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1])
plt.scatter(data_x[data_y==2,0],data_x[data_y==2,1])
plt.show()

在这里插入图片描述

2、月亮数据集

  • 线性SVM
# 导入月亮数据集和svm方法
#这是线性svm
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt #导入画图用的工具
from sklearn import datasets #导入数据集
from sklearn.svm import LinearSVC #导入线性svm
from matplotlib.colors import ListedColormap
from sklearn.preprocessing import StandardScaler
data_x,data_y=datasets.make_moons(noise=0.15,random_state=777)#生成月亮数据集
# random_state是随机种子，nosie是方
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1])
plt.scatter(data_x[data_y==1,0],data_x[data_y==1,1])
data_x=data_x[data_y<2,:2]#只取data_y小于2的类别，并且只取前两个特征
plt.show()
scaler=StandardScaler()# 标准化
scaler.fit(data_x)#计算训练数据的均值和方差
data_x=scaler.transform(data_x) #再用scaler中的均值和方差来转换X，使X标准化
liner_svc=LinearSVC(C=1e9,max_iter=100000)#线性svm分类器,iter是迭达次数，c值决定的是容错，c越大，容错越小
liner_svc.fit(data_x,data_y)
# 边界绘制函数
def plot_decision_boundary(model,axis):
    x0,x1=np.meshgrid(
        np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1))
    # meshgrid函数是从坐标向量中返回坐标矩阵
    x_new=np.c_[x0.ravel(),x1.ravel()]
    y_predict=model.predict(x_new)#获取预测值
    zz=y_predict.reshape(x0.shape)
    custom_cmap=ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    plt.contourf(x0,x1,zz,cmap=custom_cmap)
#画图并显示参数和截距
plot_decision_boundary(liner_svc,axis=[-3,3,-3,3])
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1],color='red')
plt.scatter(data_x[data_y==1,0],data_x[data_y==1,1],color='blue')
plt.show()
print('参数权重')
print(liner_svc.coef_)
print('模型截距')
print(liner_svc.intercept_)

在这里插入图片描述

  • 多核式
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.preprocessing import PolynomialFeatures,StandardScaler
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipeline
from sklearn.svm import SVC

X, y = datasets.make_moons() #使用生成的数据
#print(X.shape) # (100,2)
#print(y.shape) # (100,)
plt.scatter(X[y==0,0],X[y==0,1]) 
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述
生成噪声点

plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1])
plt.scatter(data_x[data_y==1,0],data_x[data_y==1,1])
data_x=data_x[data_y<2,:2]#只取data_y小于2的类别，并且只取前两个特征
plt.show()

在这里插入图片描述
定义非线性SVM函数，调用PolynomialSVC函数进行分类可视化，进行核处理

def PolynomialSVC(degree,C=1.0):
    return Pipeline([
        ("poly",PolynomialFeatures(degree=degree)),#生成多项式
        ("std_scaler",StandardScaler()),#标准化
        ("linearSVC",LinearSVC(C=C))#最后生成svm
    ])
poly_svc = PolynomialSVC(degree=5)
poly_svc.fit(X,y)
plot_decision_boundary(poly_svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1]) 
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()
def PolynomialKernelSVC(degree,C=1.0):
    return Pipeline([
        ("std_scaler",StandardScaler()),
        ("kernelSVC",SVC(kernel="poly")) # poly代表多项式特征
    ])
poly_kernel_svc = PolynomialKernelSVC(degree=5)
poly_kernel_svc.fit(X,y)
plot_decision_boundary(poly_kernel_svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1]) 
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

  • 高斯核
    导入包与可视化
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline

X,y = datasets.make_moons(noise=0.15,random_state=777)
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述
定义RBF核的SVM函数

from sklearn import datasets #导入数据集
from sklearn.svm import SVC #导入svm
from sklearn.pipeline import Pipeline #导入python里的管道
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler#导入标准化
def RBFKernelSVC(gamma=1.0):
    return Pipeline([
        ('std_scaler',StandardScaler()),
        ('svc',SVC(kernel='rbf',gamma=gamma))
    ])
svc=RBFKernelSVC(gamma=100)#gamma参数很重要，gamma参数越大，支持向量越小
svc.fit(data_x,data_y)
plot_decision_boundary(svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(data_x[data_y==0,0],data_x[data_y==0,1],color='red')#画点
plt.scatter(data_x[data_y==1,0],data_x[data_y==1,1],color='blue')
plt.show()

在这里插入图片描述

三、总结

对SVM有了更深的了解

参考文章

SVM深入理解

y000827
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
支持向量机分类算法
「 虚幻私塾」
09-12 1991
来说，涉及的多是高维空间（多维度）的数据分类，高维空间的SVM，即为超平面。机器学习的最终目的就是要找到最合适的（也即最优的）一个分类超平面（Hyper plane），从而应用这个最优分类超平面将特征数据很好地区分为两类。SVM能够对训练集意外的数据点做出很好的分类决策。，其动机是寻找一个最佳的决策边界，使得从决策边界与各组数据之间存在margin，并且需要使各侧的margin最大化。总而言之：在具有两个类的统计分类问题中，决策边界或决策表面是超平面，其将基础向量空间划分为两个集合，一个集合。
SVM的一些疑问
芒果干的博客
10-29 306
1. 为什么SVM问题中的正类y=-1，负类y=1 我们知道任一点到超平面的距离为 ∣wTx+b∣∣∣w∣∣ \frac{|w^{T}x+b|}{||w||} ∣∣w∣∣∣wTx+b∣​ 在之前的描述中我们知道函数间隔γ^=∣wTx+b∣=y(wTx+b)\hat{\gamma} = |w^{T}x+b| = y(w^{T}x+b)γ^​=∣wTx+b∣=y(wTx+b)，几何间隔γ~=∣wTx+b∣∣∣w∣∣=y(wTx+b)∣∣w∣∣\tilde{\gamma} = \frac{|w^{T}x+b|}{
【ML】支持向量机（SVM）从入门到放弃再到掌握
热门推荐
jhoojhooablido
08-23 20万+
朋友，你通过各种不同的途经初次接触支持向量机（SVM）的时候，是不是会觉得这个东西耳熟能详，感觉大家都会，却唯独自己很难理解？ 每一次你的老板或者同仁让你讲解SVM的时候，你觉得你看过这么多资料，使用过这么多次，讲解应该没有问题，但偏偏在分享的时候结结巴巴，漏洞百出？ 每一次机器学习相关的面试在问到支持向量机（SVM）的时候，尽管你觉得你都准备好了，可是一次又一次败下阵来，以至于觉得问那些问题...
一个简单的案例带你了解支持向量机算法（Python代码）
CDA数据分析师
06-27 1446
介绍 掌握机器学习算法并不是一个不可能完成的事情。大多数的初学者都是从学习回归开始的。是因为回归易于学习和使用，但这能够解决我们全部的问题吗？当然不行！因为，你要学习的机器学习算法不仅仅只有回归！ 把机器学习算法想象成一个装有斧头，剑，刀，弓箭，匕首等等武器的军械库。你有各种各样的工具，但你应该学会在正确的时间和场合使用它们。作为一个类比，我们可以将“回归”想象成一把...
机器学习—支持向量机理论详细推导（含例题讲解）（二）
wzk4869的博客
07-19 2138
机器学习—支持向量机理论详细推导（含例题讲解）（二）
对鸢尾花数据集和月亮数据集，分别采用LDA、k-means和SVM算法进行二分类可视化分析(python)
weixin_43709601的博客
05-18 3474
对鸢尾花数据集和月亮数据集，分别采用线性LDA、k-means和SVM算法进行二分类可视化分析(python) 一、线性判别分析LDA 1、LDA介绍 线性判别分析(linear discriminant analysis，LDA)是对费舍尔的线性鉴别方法的归纳，这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。 线性判别分析是一种经典的线性学习方法，在二分类问题上最早
SVM代码深入理解
10-18
SVM代码深入理解 深入理解SVM对增强型学习的优势。
SVM(支持向量机)入门 (深入浅出讲解原理)
03-14
深入浅出讲解SVM的原理和应用，有点类似于傻瓜式的教学方法，个人觉得很有帮助。 SVM入门（一）SVM的八股简介 SVM入门（二）线性分类器Part 1 SVM入门（三）线性分类器Part 2 SVM入门（四）线性分类器的求解——...
支持向量机通俗导论（理解SVM的三层境界）
03-03
动笔写这个支持向量机(supportvectormachine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了...
r语言机器学习随机森林包
11-21
r语言随机森林包，随机森林是基于决策树的一种机器学习语言。用于医学预测，生态发展预测，且预测精度高。
【机器学习算法笔记系列】支持向量机(SVM)算法详解和实战
Mr_Robert的博客
04-01 3万+
支持向量机(SVM)算法概述 支持向量机（support vector machines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机 当训练样本线性不可分时...
MATLAB机器学习系列-7支持向量机原理及其代码实现
总裁余（余登武）博客
10-28 3498
支持向量机原理 分类 如图，在分类中，我们需要找到一个超平面（图中包括间隔的平面）把圆圈和方框分开 原问题 间隔最小，同时保证真实输出和模型输出积大于1 对偶问题 原先的最小化问题变成了最大化问题，原先的不等式约束变成了等式约束。 引入间隔c之后 核函数 如果在低维空间找不到超平面，这时需要将数据转换到高维空间。 就需要用到核函数。 回归 原问题与对偶问题 多分类问题 LIBSVM工具箱介绍 libsvm需要C++编译器，输入命令查看 libsvm要求输入
机器学习 -- 支持向量机SVM（Ⅵ SVM中的核函数）
Leo的博客
11-18 742
一. 什么是核函数？ 支持向量机算法分类和回归方法中都支持线性和非线性类型的数据。非线性类型通常在二维平面不可分，为了使数据可分，需要通过一个函数将原始数据映射到高维空间，从而使得数据在高维空间很容易区分，这样就能达到数据分类或回归的目的，而实现这一目标的函数就称为核函数。 二. 为什么要使用核函数？ 因为在从低维空间映射到高维空间时，样本向量会不断做内...
机器学习——支持向量机(SVM)
凌逆战的博客
09-12 354
支持向量机原理 支持向量机要解决的问题其实就是寻求最优分类边界。且最大化支持向量间距，用直线或者平面，分隔分隔超平面。 基于核函数的升维变换 通过名为核函数的特征变换，增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题。 线性核函数：linear，不通过核函数进行维度提升，仅在原始维度空间中寻求线性分类边界。 基于线性核函数的SVM分类相...
SVM训练样本方法总结（用于目标识别）
xw20084898的专栏
03-17 3万+
SVM样本训练步骤 1、引言 近期在做飞形体目标识别的研究，需要做SVM训练来生成识别的分类器。从网上找了大量的参考文章，但是发现很多文章都讲的比较零散。鉴于此原因，本文对SVM训练过程做一个较为系统的总结，希望对广大初学者有所帮助。 2、步骤 （1）生成SVM描述文件； 将需要训练的样本文件的路径和对应的分类类别号写入txt文档，如： plane/飞机训练正样本Normalize/0
机器学习-Sklearn-10（支持向量机SVM-下）
m0_37755995的博客
04-03 1836
机器学习-Sklearn-10（支持向量机SVM-下）
机器学习基础-9.支持向量机SVM
闲人勿
06-17 1080
一、支持向量机svm1.概念svm即support vector machine 支持向量机，它既可解决分类问题，也可解决回归问题。在说明svm前，先看由逻辑回归得到的决策边界，如下左图所示。虽然这个决策边界将训练的样本区分开，但是这个决策边界的泛化能力并不好，靠近红色的那个蓝点明显地影响了最终决策边界的位置，而实际上这可能只是个噪声点。更合理的划分方式应该是如下右图所示。svm的思想，直观地来说...
支持向量机SVM浅析(待补充)
Y_hero的博客
03-14 487
1. 间隔与支持向量  对于用于分类的支持向量机，它是个二分类的分类模型。也就是说，给定一个包含正例和反例（正样本点和负样本点）的样本集合，支持向量机的目的就是基于训练集D在样本空间找到一个划分超平面，将不同类别的样本分开，原则是使正例和反例之间的间隔最大。如下图所示： 在样本空间中，划分超平面可通过如下线性方程来描述： 其中w=(w1;w2;w3;…wn)为法向量，决定了超平面的方向；b为位...
支持向量机通俗导论（理解svm的三层境界）
最新发布
03-16
第一层境界是初学者，他们只是了解SVM的基本概念和原理，能够使用现成的库或软件包进行分类或回归任务。他们可能不理解SVM的数学原理和优化算法，只是知道如何使用SVM来解决问题。 第二层境界是中级水平，他们已经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值