SVM补充

最新推荐文章于 2022-11-17 22:03:08 发布
最新推荐文章于 2022-11-17 22:03:08 发布
阅读量106 收藏
点赞数
分类专栏： 机器学习 文章标签： 人工智能 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JMFLFZYF/article/details/121372641
版权

SVM算法

前言

本次内容是对SVM算法的补充

重做例子代码

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC
iris=datasets.load_iris()
X=iris.data
y=iris.target
X=X[y< 2,:2]#只取y<2的类别，也就是0 1 并且只取前两个特征
y=y[y< 2]# 只取y<2的类别 
# 分别画出类别0和1的点 
plt.scatter(X[y==0,0],X[y==0,1],color='red')
plt.scatter(X[y==1,0],X[y==1,1],color='blue')
plt.show()
# 标准化
standardScaler=StandardScaler()
standardScaler.fit(X)#计算训练数据的均值和方差
X_standard=standardScaler.transform(X)#再用scaler中的均值和方差来转换X，使X标准化
svc=LinearSVC(C=1e9)#线性SVM分类器
svc.fit(X_standard,y)#训练svm

在这里插入图片描述

def plot_decision_boundary(model, axis):
    x0,x1=np.meshgrid(
        np.linspace(axis[0],axis[1],int((axis[1]-axis[0])*100)).reshape(-1,1),
        np.linspace(axis[2],axis[3],int((axis[3]-axis[2])*100)).reshape(-1,1)
    )
    X_new=np.c_[x0.ravel(),x1.ravel()]
    y_predict=model.predict(X_new)
    zz=y_predict.reshape(x0.shape)
    from matplotlib.colors import ListedColormap
    custom_cmap=ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    plt.contourf(x0,x1,zz,linewidth=5,cmap=custom_cmap)# 绘制决策边界 
plot_decision_boundary(svc,axis=[-3,3,-3,3])# x,y轴都在-3到3之间 
# 绘制原始数据
plt.scatter(X_standard[y==0,0],X_standard[y==0,1],color='red')
plt.scatter(X_standard[y==1,0],X_standard[y==1,1],color='blue')
plt.show()

在这里插入图片描述

处理非线性

# 接下来我们看下如何处理非线性的数据。
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
X, y = datasets.make_moons() #使用生成的数据 
print(X.shape) # (100,2) 
print(y.shape) # (100,)
# 接下来绘制下生成的数据
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

X,  y = datasets.make_moons(noise=0.15,random_state=777) 
#随机生成噪声点，random_state是随机种子，noise是方差
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

from sklearn.preprocessing import PolynomialFeatures,StandardScaler
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipeline
def PolynomialSVC(degree,C=1.0):
    return Pipeline([ ("poly",PolynomialFeatures(degree=degree)),#生成多项式 
                     ("std_scaler",StandardScaler()),#标准化 
                     ("linearSVC",LinearSVC(C=C))#最后生成svm 
                    ])
poly_svc = PolynomialSVC(degree=3)
poly_svc.fit(X,y)
plot_decision_boundary(poly_svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

from sklearn.svm import SVC
def PolynomialKernelSVC(degree,C=1.0):
    return Pipeline([ ("std_scaler",StandardScaler()), 
                     ("kernelSVC",SVC(kernel="poly"))# poly代表多项式特征 
                    ])
poly_kernel_svc = PolynomialKernelSVC(degree=3) 
poly_kernel_svc.fit(X,y)
plot_decision_boundary(poly_kernel_svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

import numpy as np 
import matplotlib.pyplot as plt
x = np.arange(-4,5,1)
#生成测试数据
y = np.array((x >= -2 ) & (x <= 2),dtype='int')
plt.scatter(x[y==0],[0]*len(x[y==0]))
# x取y=0的点, y取0，有多少个x，就有多少个y
plt.scatter(x[y==1],[0]*len(x[y==1]))
plt.show()

高斯核函数

在这里插入图片描述

# 高斯核函数 
def gaussian(x,l):
    gamma = 1.0
    return np.exp(-gamma * (x -l)**2)
l1,l2 = -1,1
X_new = np.empty((len(x),2))#len(x) ,2 
for i,data in enumerate(x):
    X_new[i,0] = gaussian(data,l1)
    X_new[i,1] = gaussian(data,l2)
    plt.scatter(X_new[y==0,0],X_new[y==0,1])
    plt.scatter(X_new[y==1,0],X_new[y==1,1])
    plt.show()

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
X,y = datasets.make_moons(noise=0.15,random_state=777)
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline
def RBFKernelSVC(gamma=1.0):
    return Pipeline([ ('std_scaler',StandardScaler()), ('svc',SVC(kernel='rbf',gamma=gamma)) ])
svc = RBFKernelSVC()
svc.fit(X,y)
plot_decision_boundary(svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline
def RBFKernelSVC(gamma=100):
    return Pipeline([ ('std_scaler',StandardScaler()), ('svc',SVC(kernel='rbf',gamma=gamma)) ])
svc = RBFKernelSVC()
svc.fit(X,y)
plot_decision_boundary(svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline
def RBFKernelSVC(gamma=10):
    return Pipeline([ ('std_scaler',StandardScaler()), ('svc',SVC(kernel='rbf',gamma=gamma)) ])
svc = RBFKernelSVC()
svc.fit(X,y)
plot_decision_boundary(svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline
def RBFKernelSVC(gamma=0.1):
    return Pipeline([ ('std_scaler',StandardScaler()), ('svc',SVC(kernel='rbf',gamma=gamma)) ])
svc = RBFKernelSVC()
svc.fit(X,y)
plot_decision_boundary(svc,axis=[-1.5,2.5,-1.0,1.5])
plt.scatter(X[y==0,0],X[y==0,1])
plt.scatter(X[y==1,0],X[y==1,1])
plt.show()

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
boston = datasets.load_boston()
X = boston.data
y = boston.target
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=777)
# 把数据集拆分成训练数据和测试数据
from sklearn.svm import LinearSVR
from sklearn.svm import SVR
from sklearn.preprocessing import StandardScaler
def StandardLinearSVR(epsilon=0.1):
    return Pipeline([ ('std_scaler',StandardScaler()), ('linearSVR',LinearSVR(epsilon=epsilon)) ])
svr = StandardLinearSVR()
svr.fit(X_train,y_train)
svr.score(X_test,y_test)

在这里插入图片描述

参考文章

https://blog.csdn.net/weixin_56102526/article/details/121110135?spm=1001.2014.3001.5501

J-JMF
关注
专栏目录
SVM算法
sunanger_wang的专栏
08-20 3万+
又有很长的一段时间没有更新博客了，距离上次更新已经有两个月的时间了。其中一个很大的原因是，不知道写什么好-_-，最近一段时间看了看关于SVM(Support Vector Machine)的文章，觉得SVM是一个非常有趣，而且自成一派的方向，所以今天准备写一篇关于关于SVM的文章。 关于SVM的论文、书籍都非常的多，引用强哥的话“SVM是让应用数学家真正得到应用的一种算法”。SVM对于大部分的普
数据挖掘领域十大经典算法之—SVM算法（超详细附代码）
热门推荐
fuqiuai的博客
03-08 9万+
相关文章： 数据挖掘领域十大经典算法之—C4.5算法（超详细附代码） 数据挖掘领域十大经典算法之—K-Means算法（超详细附代码） 数据挖掘领域十大经典算法之—Apriori算法 数据挖掘领域十大经典算法之—EM算法 数据挖掘领域十大经典算法之—PageRank算法 数据挖掘领域十大经典算法之—AdaBoost算法（超详细附代码） 数据挖掘领域十大经...
支持向量机（SVM）算法
weixin_34032792的博客
07-16 294
支持向量机(support vector machine)是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。 具体原理： 1. 在n维...
svm算法 matlab,SVM算法matlab程序
weixin_39887546的博客
03-17 890
经典SVM算法matlab程序\svm\binomial.m经典SVM算法matlab程序\svm\centrefig.m经典SVM算法matlab程序\svm\cmap.mat经典SVM算法matlab程序\svm\Contents.m经典SVM算法matlab程序\svm\Examples\Classification\iris1v23.mat经典SVM算法matlab程序\svm\Examp...
SVM算法补充
weixin_46075497的博客
11-15 104
一、核函数 在现实当中，大部分时候数据并不是线性可分的，这个时候满足这样条件的超平面就根本不存在。 核函数特点及优点： 不需要每次都具体计算出原始样本点映射的新的无穷维度的样本点，直接使用映射后的新的样本点的点乘计算公式即可； 1.减少计算量； 2.减少存储空间； 3.一般将原始样本变形，通常是将低维的样本数据变为高维数据，存储高维数据花费较多的存储空间；使用核函数，不用考虑原来样本改变后的样子，也不用存储变化后的结果，只需要直接使用变化的结果进行运算并返回运算结果即可； 4.核函数的方法和思路不是 SVM
svm-master_支持向量机_SVM_
09-30
4. README：另一个README文件，可能包含不同的信息或者补充说明，例如更详细的使用示例或项目背景。 5. src：这是一个源代码目录，可能包含了SVM算法的Python实现或者其他相关辅助功能的代码。通过深入研究src目录...
SVM.rar_svm ppt_svm 分类_svm分类器
09-23
www.pudn.com.txt可能是资源来源或者补充资料，但具体内容未知，可能包含SVM的进一步阅读材料链接或作者的注释。 SVM分类器的实现步骤： 1. 数据预处理：清洗数据，处理缺失值，进行特征缩放，归一化或标准化。 2. ...
Python实现基于SVM的分类器的方法
01-01
本文代码来之《数据分析与挖掘实战》，在此基础上补充完善了一下~ 代码是基于SVM的分类器Python实现，原文章节题目和code关系不大，或者说给出已处理好数据的方法缺失、源是图像数据更是不见踪影，一句话就是练习...
【西瓜书笔记】补充2：SVM建模方式、SVM优化方法和核函数
weixin_39236489的博客
02-07 1959
一、SVM的建模 模型一：从logistic到SVM Logistic损失函数如下： J(θ)=C∗[1n∑i=1n(y(i)log⁡(p(i))+(1−y(i))log⁡(1−p(i)))]+∥θ∥2 J(\theta)=\mathrm{C}*\left[\frac{1}{n} \sum_{i=1}^{n}\left(y^{(i)} \log \left(p^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-p^{(i)}\right)\right)\rig
SVM算法_svm算法代码_SVM算法代码_python_SVM_
09-30
本套代码是本人根据svm的原理纯写的代码，并没有调用已经封装好的包，非常适用于初学者从原理上了解svm，包括线性svm
经典SVM算法matlab程序
10-19
经典SVM算法matlab程序,用于各种利用MATLAB对数据进行SVM仿真的实验。
SVM算法-matlab代码
11-17
SVM算法的代码，用matlab实现的，可直接用，很方便，下载即可用！该算法可用于机器学习分类研究，是一种典型的分类算法，非常适合论文实验。
python svm算法源码
03-03
python实现支持向量机svm算法，主要用于数值型数据的二分类算法
svm算法
weixin_61907621的博客
08-20 705
svm学习
SVM算法编程练习
lxzysx的博客
05-25 1023
目录支持向量机简介什么是支持向量机Soft Margin SVMSVM算法编程练习1.未经标准化的原始数据点分布绘制这个决策边界:再次实例化一个svc，并传入一个较小的 C2.使用多项式特征和核函数绘制下生成的数据增加一些噪声点通过多项式特征的SVM来对它进行分类使用核技巧来对数据进行处理3.核函数4.超参数γ生成数据:定义一个RBF核的SVM5.回归问题 支持向量机 简介 支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面 什么是支持向量机 在 感
机器学习-SVM算法
最新发布
L的博客
11-17 4091
内容涉及支持向量机，包括理论和代码实现：间隔与支持向量，对偶问题，核函数，软间隔与正则化；代码实现包括模拟的算法和sklearn工具包中的代码块，运行环境Jupyter。总体来说，这块内容糊涂的很，若有错误，还请指正，共同学习，共同进步！
SVM分类器实现：MATLAB代码详解
"该资源提供了一个使用MATLAB实现的支持...这个MATLAB代码提供了一个基本的SVM分类器实现框架，但为了使其完全功能化，还需要补充和完善缺失的部分，例如具体的核函数计算、更高效的优化算法以及错误处理和结果评估等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值