【机器学习】SVM算法实现及应用

已于 2023-10-29 16:48:49 修改
阅读量240 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 算法 支持向量机
于 2023-10-29 16:48:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44828537/article/details/134104675
版权

Ex1使用SVM分类方法对线性可分数据集进行分类。

Ex2使用SVM分类方法对非线性可分数据集进行分类。

Ex3分别使用准确率（accuracy）、ROC曲线、AUC作为评价指标对Ex1和Ex2实验结果进行评估。

    1）使用SVM分类方法对线性可分数据集进行分类

训练线性可分数据集的svm模型，然后用训练出的模型对测试样本分类。

  1. 准备数据
  2. 训练模型
  3. 预测测试样本
  4. 查看支持向量

#X为训练样本，Y为类标签，T为测试样本

X=np.array([[0,0],[1,2],[2,4],[3,3],[3,4],[4,2],[4,4],[4,3],[5,3],[6,2],[7,1],[2,9],[3,8],[4,6],[4,7],[5,6],[5,8],[6,6],[7,4],[8,4],[8,9],[10,10]])                                              

Y= np.array([1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2])

T= np.array([[3,2],[4,8],[6,5],[7,6],[2,5],[5,2]])

    2）使用SVM分类方法对非线性可分数据集进行分类

训练非线性可分数据集的svm模型，然后用训练出的模型对测试样本分类。

  1. 准备数据
  2. 选择核函数以及合适的参数
  3. 训练模型
  4. 预测测试样本
  5. 查看支持向量

#X为训练样本，Y为类标签，T为测试样本

X=np.array([[5,5],[6,4],[5,6],[5,4],[4,5],[8,5],[8,8],[4,5],[5,7],[7,8],[1,2],[1,4],[4,2],[5,1.5],[7,3],[10,4],[4,9],[2,8],[8,9],[9,9],[8,10],[2,5],[9,6]])

Y=np.array([1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2])                         

T=np.array([[6,6],[5.5,5.5],[7,6],[12,14],[7,11],[2,2],[9,9],[8,2],[2,6],[5,10],[4,7],[7,4]])

    3）分类算法建模及分析

运用准确率、精确率、ROC、AUC指标对SVM的预测效果进行评估。

  1. 应用分类算法
  2. 对样本数据进行建模
  3. 用准确度指标和AUC等指标评估模型
  4. 记录并分析实验结果
  5. Ex1源代码： 
    #使用SVM分类方法对线性可分数据集进行分类
import numpy as np
from sklearn import svm
import matplotlib.pyplot as plt
X1=np.array([[0,0],[1,2],[2,4],[3,3],[3,4],[4,2],[4,4],[4,3],[5,3],[6,2],[7,1],[2,9],[3,8],[4,6],[4,7],[5,6],[5,8],[6,6],[7,4],[8,4],[8,9],[10,10]])#训练样本X                                              
Y1= np.array([1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2])#分类标签Y
T1= np.array([[3,2],[4,8],[6,5],[7,6],[2,5],[5,2]])#测试集T
T_Label1 = np.array([2, 2 , 1 , 2 , 1 , 2])
#建模
model1 = svm.SVC(kernel='linear')#线性
model1.fit(X1,Y1)
s1 = model1.support_vectors_
print('支持向量机:')
print(s1)
T_Predict1 = model1.predict(T1)
print("预测结果:" , T_Predict1)
print("真实结果:" , T_Label1)
plt.scatter(X1[Y1 == 1 , 0], X1[Y1 == 1 , 1])
plt.scatter(X1[Y1 == 2 , 0], X1[Y1 == 2 , 1])
plt.show()

    Ex2源代码：

    #使用SVM分类方法对非线性可分数据集进行分类
import numpy as np
from sklearn import svm
import matplotlib.pyplot as plt
X2=np.array([[5,5],[6,4],[5,6],[5,4],[4,5],[8,5],[8,8],[4,5],[5,7],[7,8],[1,2],[1,4],[4,2],[5,1.5],[7,3],[10,4],[4,9],[2,8],[8,9],[9,9],[8,10],[2,5],[9,6]])
Y2=np.array([1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2])                         
T2=np.array([[6,6],[5.5,5.5],[7,6],[12,14],[7,11],[2,2],[9,9],[8,2],[2,6],[5,10],[4,7],[7,4]])
T_Label2 = np.array([2, 1 , 2 , 2 , 2 , 1 , 2 , 1 , 1 , 2 , 1 , 2])
model2 = svm.SVC(kernel='rbf' , C=2 , gamma = 1)#建模
model2.fit(X2 , Y2)#训练
s2 = model2.support_vectors_
print('支持向量为:')
print(s2)
T_Predict2 = model2.predict(T2)
print("预测结果:" , T_Predict2)
print("真实结果:" , T_Label2)
#分类结果可视化
plt.scatter(X2[Y2 == 1 , 0], X2[Y2 == 1 , 1],c='black')
plt.scatter(X2[Y2 == 2 , 0], X2[Y2 == 2 , 1],c='pink')
print('图形分布为:')
plt.show()

    Ex3源代码：

    #使用运用准确率、精确率、ROC、AUC指标对SVM的预测效果进行评估。（线性可分数据集）
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.metrics import roc_auc_score
from sklearn.metrics import plot_roc_curve, confusion_matrix
X=np.array([[0,0],[1,2],[2,4],[3,3],[3,4],[4,2],[4,4],[4,3],[5,3],[6,2],[7,1],[2,9],[3,8],[4,6],[4,7],[5,6],[5,8],[6,6],[7,4],[8,4],[8,9],[10,10]])
Y = np.array([1,1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2])
T = np.array([[3,2],[4,8],[6,5],[7,6],[2,5],[5,2]])
pred = []
model = SVC(random_state=0, kernel='linear')
model.fit(X,Y)
pred = model.predict(X)
(tp, fp), (fn, tn) = confusion_matrix(Y, pred)
print("使用SVM分类方法对线性可分数据集进行分类，此时准确率为：{:.4f}%".format((tp + tn) / (tp + fp + tn + fn) * 100))
print("使用SVM分类方法对线性可分数据集进行分类，此时精确率为：{:.4f}%".format(tp / (tp + fp) * 100))
print("使用SVM分类方法对线性可分数据集进行分类，此时AUC 值：{:.4f}".format(roc_auc_score(Y, pred)))
plt.figure(figsize=(6,6))
plt.title('Validation ROC')
plt.plot(fpr, tpr, 'b', label = 'Val AUC = %0.3f' % roc_auc)
plt.legend(loc = 'lower right')
plt.plot([0, 1], [0, 1],'r--')
plt.xlim([0, 1])
plt.ylim([0, 1])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()
plot_roc_curve(model, X, pred)
plt.show()

#使用运用准确率、精确率、ROC、AUC指标对SVM的预测效果进行评估。（非线性可分数据集）
import matplotlib.pyplot as plt
from sklearn.svm import SVC
from sklearn.metrics import roc_auc_score
from sklearn.metrics import plot_roc_curve, confusion_matrix
X=np.array([[5,5],[6,4],[5,6],[5,4],[4,5],[8,5],[8,8],[4,5],[5,7],[7,8],[1,2],[1,4],[4,2],[5,1.5],[7,3],[10,4],[4,9],[2,8],[8,9],[9,9],[8,10],[2,5],[9,6]])
Y = np.array([1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2])
T=np.array([[6,6],[5.5,5.5],[7,6],[12,14],[7,11],[2,2],[9,9],[8,2],[2,6],[5,10],[4,7],[7,4]])
pred = []
model = SVC(random_state=0, kernel='rbf')
model.fit(X, Y)
pred = model.predict(X)
(tp, fp), (fn, tn) = confusion_matrix(Y, pred)
print("使用SVM分类方法对非线性可分数据集进行分类，此时准确率为：{:.4f}%".format((tp + tn) / (tp + fp + tn + fn) * 100))
print("使用SVM分类方法对非线性可分数据集进行分类，精确率为：{:.4f}%".format(tp / (tp + fp) * 100))
print("使用SVM分类方法对非线性可分数据集进行分类，此时AUC 值：{:.4f}".format(roc_auc_score(Y, pred)))
plt.figure(figsize=(6,6))
plt.title('Validation ROC')
plt.plot(fpr, tpr, 'b', label = 'Val AUC = %0.3f' % roc_auc)
plt.legend(loc = 'lower right')
plt.plot([0, 1], [0, 1],'r--')
plt.xlim([0, 1])
plt.ylim([0, 1])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()
plot_roc_curve(model, X,pred)
plt.show()

    总结：

    通过本次实验，学习了使用SVM分类方法对线性可分数据集和非线性可分数据集进行分类，并学会运用准确率、精确率、ROC、AUC指标对SVM的预测效果进行评估。对支持向量机的概念和实际运用有了更为深入的了解。

小海勇闯Java
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习中的算法（4.2）：SVM----针对线性可分问题理解
m0_37957160的博客
06-19 752
支持向量机中的三种内核： （1）线性内核； （2）多项式内核 （3）高斯径向基函数核 为了理解fa可以把这三种内核看做三种不同的机器学习算法。
支持向量机（SVM）——数据线性可分
c123_sensing的博客
08-08 1111
关于机器学习算法的程序，在我的Github上，欢迎大家follow： Github地址：https://github.com/xuesongjaybluce   SVM在之前的很长一段时间内是性能最好的分类器，它有严密而优美的数学基础作为支撑。在各种机器学习算法中，它是最不易理解的算法之一，要真正掌握它的原理有一定的难度。在本文中，我将带领大家通过一张图来理清SVM推导过程的核心过程。 简...
使用SVM做分类
11-26
提供一个cvs自制的数据集，使用核函数对它进行非线性的分类。且能预测。
使用SVM模型完成分类任务
qiaotl的博客
07-28 1464
在实际应用中，SVM的核函数可以使用不同的变换，包括线性核、多项式核和径向基函数（RBF）核等，以适应不同的数据类型和特征空间。这四种函数代表不同的映射方式，线性核函数，是在数据线性可分的情况下使用的，运算速度快，效果好。这种方法，针对K个分类，需要训练K个分类器，分类速度较快，但训练速度较慢，因为每个分类器都需要对全部样本进行训练，而且负样本数量远大于正样本数量，会造成样本不对称的情况，而且当增加新的分类，比如第K+1类时，需要重新对分类器进行构造。（1）样本A作为正集，B，C，D作为负集；
机器学习-001-SVM线性可分-2020-4-28
小小书童
04-28 781
SVM(support vector machine)支持向量机 二分类模型： 特征空间上的间隔最大线性分类器，这点跟感知机不同。 通过核技巧，变成非线性分类器 求解算法，凸二次规划的最优算法( 运筹学 ) 模型简单到复杂： 线性可分支持向量机Linearsupportvectormachineinlinearly separable case ...
【机器学习】SVM基本线性可分与多分类
qq_32742009的博客
08-05 2658
上一篇讲了线性可分的SVM推导，现在讲一讲基本线性可分的情形，后面还会介绍多分类的使用以及核函数的使用。 outlier 的处理 给定数据集  ，当样本数据大部分为线性可分的，存在少量异常值使得数据线性不可分，或者导致分离超平面被挤压，可以通过一些方法仍然按照线性可分的方式处理，异常值的情况如下图所示： 以上情况意味着某些样本点的函数间隔并不满足大于 1 的要求。为了解决这个问题，为每个...
tensorflow SVM 线性可分数据分类
gengli2017的博客
10-24 678
引言 对于SVM，具体的可以参考其他博客。我觉得SVM里面的数学知识不好懂，特别是拉格朗日乘子法和后续的 FTT 条件。一个简单的从整体上先把握的方法就是：不要管怎么来的，知道后面是一个二次优化就行了。 此处还是用 iris 数据集的萼片长度和花瓣宽度来对鸢尾花分类。 所用的损失函数是 其中 n 是每次训练的数据量，就是下面代码中的 batch_size ，A、b是要优化的变量，A是系数，b是偏...
机器学习算法之SVM算法实现.zip
最新发布
04-20
机器学习算法 机器学习算法之SVM算法实现
matlab程序源码加数据机器学习svm算法
08-17
已有数据集，使用matlab将机器学习svm算法实现并运行出结果，svm算法通俗的理解在二维上，就是找一分割线把两类分开，问题是如下图三条颜色都可以把点和星划开，但哪条线是最优的呢
机器学习-SVM算法的Python实现.zip
02-15
机器学习 机器学习_SVM算法的Python实现
基于AUC的SVM多类分类方法的研究
02-22
AUC(ROC曲线下面积)评价标准已经广泛地用于度量机器学习中各种分类算法在两类数据集上的分类性能。首先介绍了SVM(支持向量机)多类分类方法,然后对AUC方法进行了系统地介绍,最后通过实验来比较各种SVM多类分类方法在多类别数据集上的AUC的值。实验结果表明,AUC值和核函数和多类转换方法的选取都有着密切的联系。
【机器学习】分类算法实现及应用
weixin_44828537的博客
10-29 394
该实例数据同样来自Kaggle，它的每一条数据为一个用户的信息，共有21个有效字段，其中，最后一个字段Churn标志该用户是否流失。在本次分类实验中，学会运用逻辑回归模型、决策树模型、随机森林模型等各类分类算法对数据进行建模，并学习了编码、特征提取、数据预处理和用准确度指标和AUC指标评估模型等过程。运用各类分类算法对数据进行建模，包括：逻辑回归模型、决策树模型、随机森林模型。运用各类分析工具对流失用户和非流失用户进行特征分析，说明流失用户和非流失用户的特点。3）分类算法建模及分析。
【机器学习】分类算法评估指标全总结(2023最新整理)关键词：准确率Accuracy、精确率Precision、召回率Recall、Micro F1、P-R、ROC、MCC、Cohen‘s kappa
Next_SummerAgain的博客
03-20 1万+
评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。 针对不同类型的学习任务，我们有不同的评估指标，这里我们来介绍最常见的分类算法的一些评估指标。常用的分类任务评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、Macro F1、Micro F1、P-R曲线（Precision-Recall Curve）、ROC、AUC、MCC、Cohen
sklearn之SVM，ROC曲线与AUC面积
weixin_45580742的博客
02-25 1万+
1.重要参数kernel 对于这三个参数的取值问题，直接上网格搜索或学习曲线，因为当gamma的符号变化，或者 degree的大小变化时，核函数本身甚至都不是永远单调的。 不同核函数在不同数据集上的表现 from sklearn.model_selection import train_test_split from sklearn.datasets import load_breast_ca...
python画出AUC曲线
热门推荐
三年研究生能改变多少
04-16 1万+
以load_breast_cancer数据集为例，模型细节不重要，重点是画AUC的代码。直接上代码： from sklearn.datasets import load_breast_cancer from sklearn import metrics from sklearn.ensemble import RandomForestClassifier from sklearn.model_se...
数据挖掘学习——支持向量机（SVM）
weixin_52135595的博客
09-18 3225
SVM是一种分类模型，是一个定义在特征空间上间隔（距离）最大的线性分类器。 基本思路：SVM将训练样本数据集表示为特征空间的点，将各个类别的训练数据使用超平面进行分隔，在预测时，输入一个新的测试数据点，若该测试数据点在特征空间的位置分布在超平面的某一侧，则判断该测试点的类别即为该侧所对应的类别。共有三种类型的SVM：线性可分支持向量机(硬间隔最大化)线性不可分支持向量机非线性支持向量机将求解线性可分支持向量机的最优化问题作为原始最优化问题。 （SVM通常用于二分类问题，用-1和+1分别表示对应的两个类别，
R语言建立SVM分类模型，并画ROC曲线，标注AUC值
aydayUP111的博客
10-13 1819
本文介绍了用R语言进行支持向量机的一些方法和心得，包括本人遇到的坑比如什么不是numeric所以出不来结果，目前来看应该是可以通过本文介绍的方法来解决，如果本文存在什么问题，也希望大家能评论指出，共同进步。另外这是本人第一次用编程来画图，ROC曲线的一些参数还不是很清楚，也请了解的人能多多指教，感谢！
sklearn学习SVM画AUC跟ROC,博客和官网链接示例报错：roc_auc_score() got an unexpected keyword argument ‘multi_class‘
qq_38265022的博客
08-27 1710
版本跟新问题 输出 help(roc_auc_score) 可知roc_auc_score(y_true, y_score, average='macro', sample_weight=None) 去掉'multi_class'即可
机器学习面试——分类算法SVM
樱缘之梦
06-22 1867
1、什么是硬间隔和软间隔？ 当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机。 当训练数据近似线性可分时，通过软间隔最大化
机器学习之-svm学习课件
10-22
机器学习之svm学习课件 机器学习之svm学习课件 机器学习之svm学习课件

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值