2022-2-17第四章机器学习进阶SVM实践

最新推荐文章于 2024-05-21 16:25:16 发布
最新推荐文章于 2024-05-21 16:25:16 发布
阅读量443 收藏
点赞数
文章标签： 支持向量机 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45526009/article/details/122986582
版权

带核函数的SVM

实质：其实就是避免只能进行线性分割，通过核函数，将特征映射到高维空间中，以此选择出合适的超平面进行分割

在这里插入图片描述
一般选择核函数：常用rbf-高斯核函数，但是需要调C和γ两个参数（交叉验证、网格搜索）
C项：
错误项的惩罚系数。C越大，即对分错样本的惩罚程度越大，因此在训练样本中准确率越高，但是泛化能力降低，也就是对测试数据的分类准确率降低。相反，减小C的话，容许训练样本中有一些误分类错误样本，泛化能力强。对于训练样本带有噪声的情况，一般采用后者，把训练样本集中错误分类的样本作为噪声
γ项：高斯分布的精度
越大，精度越大，分类的精度提高–太大容易过拟合

在这里插入图片描述在这里插入图片描述Faix—指的是映射项，通过n维的映射进行升维
高斯核为什么具有普适性：将高斯核函数进行泰勒展开，发现映射函数还是包含了从1-n阶的x数，所以高斯是无穷维的

在这里插入图片描述
SVR用于做回归
在这里插入图片描述

在这里插入图片描述

多分类问题：一对一做分类或者一对多做分类 ，最后集成分类结果

简写：ovr（one vs rest）多少个特征最后的分类器中有多少个值、ovo（one vs one）每个特征两两分类，最终分类器中的值大于原特征个数

SVM包–着重用SVC分类器

在这里插入图片描述decision_function_shape=;ovr
表明次分类器采用的方式最后输出值和特征值个数相等
采用线性核函数给0.1惩罚率，表示给一定的错误机会decision_function_shape=’ovr’—通过多个二分类得到一个三分类（one vs rest类型）
在这里插入图片描述在这里插入图片描述采用ovo形式

YJF-NJU
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习之SVM分类器介绍——核函数、SVM分类器的使用
张小鱼的博客
04-20 6557
本文简单介绍SVM分类器、以及核函数、SVM分类器的应用。以下案例经供参考SVM是按照监督类学习方式进行运作的。即：数据当中含有目标值。SVM采用监督学习方式，对数据进行二分类（这点跟逻辑回归一样）。但是，SVM和逻辑回归(LR)有有很多不同点。两者的相同点二者都是线性分类器二者都是监督学习算法都属于判别模型（KNN, SVM, LR都属于判别模型），所谓判别模型就是指：通过决策函数，判别各个样本之间的差别来进行分类。二者的损失函数和目标函数不一样。二者对数据和参数的敏感度不同。
SVM学习总结
julyclj55555的博客
10-24 316
http://blog.csdn.net/csqazwsxedc/article/details/52230092 使用SVM需安装e1071包 第一种简单方式建模： svm(formula, data= NULL, subset, na.action = na.omit , scale= TRUE)  formula：函数模型的形式 data：模型中包含的有变量的一组可选格式数据。 ...
Svm算法原理及实现
热门推荐
d__760的博客
05-21 12万+
      Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。一、基于最大间隔分隔数据1.1支持向量与超平面    在了解svm算法之前，我们首先需要了解一下线性分类器这...
SVM支持向量机-核函数python实现
qq_37402392的博客
11-12 3501
参考链接： https://blog.csdn.net/BIT_666/article/details/80012128 导入相关库 导入与我们数据处理有关的库并进行绘图的格式设置 import matplotlib as mpl import matplotlib.pyplot as plt from numpy import * from time import sleep %matplotlib inline plt.rcParams['figure.figsize'] = (10.0, 8.0.
针对testSetRBF2.txt中数据，使用高斯核函数，进行SVM分类，画图。
IT_zxl001的博客
05-29 1204
testSetRBF2.txt# 2. 针对testSetRBF2.txt中数据，使用高斯核函数，进行SVM分类，画图并标记出支持向量。 from numpy import * import matplotlib.pyplot as plt from sklearn import svm # 加载数据集 def loadDataSet(filename): dataMat = [];...
2022-2-16第四章机器学习进阶支持向量机SVM
weixin_45526009的博客
02-16 511
简介 支持向量机原理和目标 ①各类概念 （1）线性可分支持向量机（硬间隔最大化、硬间隔支持向量机） 点到分类线的距离相等—不可能有样本落在分割面上 （2）线性支持向量机（软间隔最大化、软间隔支持向量机） 点到分类线的距离不一定相等，有一定的范围 （3）非线性支持向量机—加入核函数 支撑向量：边界上的几个向量，其他向量并不影响分类 点到直线的问题在n维情况下都可以求，就是带入直线方程，然后除以w的二范式 如果是正值，则在分界线上方（法向正方向）W就是法向量 SVM：离样本的最近距离取最大 目标函数 –要满
2022-2-15第四章机器学习进阶--XGboost
weixin_45526009的博客
02-15 298
XGboost 例1 agaricus_test (稀疏数据集的特殊存储方式)，01矩阵通过只表示1的位置 ①读取数据 ②参数设置（二分类） Param-树的深度、eta—防止模型学习太快-衰减因子<1、silent— Watchlist监控模型学习何时停止, evals-训练期间将评估指标的验证集列表，验证列表会帮助我们跟踪模型性能 N_round—决策树数量 Data_train-包含x和y，obj定义一个目标函数写入公式， ③计算错误率 例2：鸢尾花 ①数据读取 ②参数设定（三分类soft
第1课 机器学习与数学基础_2
09-20
第4课 参数估计 第5课 线性代数初步 第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
第9课 从数学到机器学习分类问题 _2
09-25
第4课 参数估计 第5课 线性代数初步 第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
第6课 线性代数进阶_2
09-25
第4课 参数估计 第5课 线性代数初步 第6课 线性代数进阶 第7课 凸优化初步 第8课 凸优化进阶 第9课 从数学到机器学习分类问题 第10课 深入理解SVM 由于每一课视频依然较大以及上传限制，所以分开上传。
机器学习：SVM（核函数、高斯核函数RBF）
ab1213456的博客
08-12 9092
一、核函数（Kernel Function） 　1）格式 K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值； 在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' .y' 得到的值； 　2）多项式核函数 业务问题：怎么分类非线性可分的样本的分类？ ...
基于svm的水果识别
依然吧的博客
05-13 1285
主要介绍基于svm的水果识别程序使用
机器学习之集成学习
Green_horn_new的博客
05-17 1103
仅是机器学习中一种思想，通过多种模型(算法)组合形成一个精度更高模型，参与组合模型称为弱学习器。2.根据更新数据集权重，来训练第2个弱学习器，再找最小的错误率计算模型权重，再更新模数据权重。结果大于0为正类，反之为负类。如果某节点不纯度(基尼系数，均方差)小于这个阈值，则该节点不在生成子节点，并变为叶子节点。迭代训练再前一个学习器基础上，根据新的样本权重训练当前学习器，直到训练出m个弱学习器。1.初始化数据权重，训练第一个弱学习器，找最小错误率计算模型权重，再更新模型数据权重。
机器学习之朴素贝叶斯
最新发布
weixin_49329177的博客
05-21 498
朴素贝叶斯的核心思想是在给定一组特征的情况下，计算各个类别出现的可能性，然后选择可能性最大的类别作为预测结果。其关键之处在于“朴素”假设，即将复杂的多维条件概率简化为单个特征的条件概率的乘积。
Python数据挖掘与机器学习
PhyliciaFelicia的博客
05-20 1073
掌握Python编程的基础知识与技巧、特征工程（数据清洗、变量降维、特征选择、群优化算法）、回归拟合（线性回归、BP神经网络、极限学习机）、分类识别（KNN、贝叶斯分类、支持向量机、决策树、随机森林、AdaBoost、XGBoost与LightGBM等）、聚类分析（K均值、DBSCAN、层次聚类）、关联分析（关联规则、协同过滤、Apriori算法）的基本原理及Python代码实现方法。
【Python】【机器学习】在训练代码中建立混淆矩阵
SmallBamboo的博客
05-18 574
for t, p in zip(targets, preds)是同时遍历targets（真实标签）和真实标签对应的preds（预测标签），然后在conf_matrix的t.item()和p.item()位置更新混淆矩阵，也就是+=1。outputs.argmax(1)用于获取输出的最大预测值（也就是Top-1），output是二维张量：[batch_size, 类别数]；preds是一维张量[batch_size]，相当于提取出一个类别。
梯度下降算法的实现【python，算法，机器学习】
xiangfeng666的博客
05-16 464
上述代码中，巧妙的利用矩阵乘法规则实现了求和计算，这样使得梯度计算更加简便，最后计算得出的(\theta0, \theta1)便是所求直线的参数。然后对这个代价函数求偏导数，根据偏导公式，进行迭代计算，当梯度下降到一定程度，完成计算，获取最后的。场景是一个简单的线性回归的例子：假设现在我们有一系列的点，我们将用梯度下降法来拟合出这条直线！首先，我们需要定义一个代价函数，在此我们选用均方误差代价函数。表示实测的数据集，你可以根据实际情况进行替换。
Python 机器学习 基础 之 监督学习 [决策树集成] 算法 的简单说明
仙魁XAN
05-15 1041
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。
WOA-SVM机器学习算法代码
09-05
### 回答1： WOA-SVM（Walking Optimization Algorithm-Support Vector Machine）是一种机器学习算法，它可以用来构建分类和回归模型，以支持向量机（SVM）的形式。它是基于一种叫做行走优化算法（WOA）的迭代算法，通过改进SVM的参数来改进模型的性能。 ### 回答2： WOA-SVM其实是一种基于鲸鱼群算法(WOA)和支持向量机(SVM)的机器学习算法。这个算法结合了两种优秀的算法，可以在处理分类问题时具有较高的性能。 WOA是一种仿生智能算法，灵感来源于鲸鱼的捕食行为。这种算法通过模拟鲸鱼在捕食中的行为，来搜索解空间中的最优解。WOA根据每个个体的适应度值和搜索概率来更新每个解。在每次迭代中，较好的解会被选择，且搜索空间也会收缩，最终找到全局最优解。 SVM是一种非常强大的分类器，主要用于二分类问题。它的目标是找到一个最优超平面，可以将不同类别的数据点最大程度地分开。SVM通过在特征空间中构造一个决策边界，将不同类别的数据点分隔开。 WOA-SVM算法结合了WOA和SVM的优点，能够更好地处理分类问题。该算法的代码实现大致可以分为以下几个步骤： 1. 数据准备：将需要分类的数据集划分为训练集和测试集。 2. 初始化WOA参数：设定WOA算法的迭代次数、种群大小等参数。 3. WOA算法：根据初始化的参数，采用WOA算法进行迭代搜索，逐步优化SVM模型。 4. 构建SVM模型：根据当前的WOA参数，构建SVM模型，根据训练集进行模型训练。 5. 模型评估：使用测试集评估模型的性能，例如计算分类准确率、精确率、召回率等指标。 6. 结果分析：根据评估结果，分析模型的性能，进一步调整WOA参数，以得到更好的分类效果。 总体来说，WOA-SVM算法通过融合WOA和SVM，既能够利用WOA算法的搜索能力，又能够充分发挥SVM的分类性能。这种算法在处理分类问题时具有很好的潜力，并且可以根据实际问题进行调整，以达到更好的结果。 ### 回答3： WOA-SVM（Whale Optimization Algorithm-Support Vector Machine）是一种结合鲸鱼优化算法（Whale Optimization Algorithm）和支持向量机（Support Vector Machine）的机器学习算法。该算法在解决分类和回归问题方面具有很高的效果。 首先，WOA-SVM算法通过鲸鱼优化算法来寻找最优解。鲸鱼优化算法中的鲸鱼代表解空间中的候选解，而位置和尺寸表示解的质量。算法通过模拟鲸鱼的迁徙、寻找食物和社交行为等行为规律，来搜索解空间中的最优解。 在WOA-SVM算法中，通过将支持向量机引入到鲸鱼优化算法中，将鲸鱼与支持向量机的分类功能相结合。支持向量机是一种监督学习算法，通过构建一个超平面来进行分类。该算法通过将数据映射到高维空间，并在其中寻找最优的超平面，来实现数据的分类。 最后，WOA-SVM算法通过结合鲸鱼优化算法和支持向量机，对数据进行分类和回归分析。该算法的优势在于能够充分利用鲸鱼优化算法的搜索能力和支持向量机的分类准确性，在解决复杂问题时具有很高的效果。 总之，WOA-SVM机器学习算法是一种结合鲸鱼优化算法和支持向量机的算法，通过利用鲸鱼优化算法的搜索能力和支持向量机的分类准确性，对数据进行分类和回归分析。这种算法在解决分类和回归问题方面具有很高的效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值