机器学习13课：SVM

最新推荐文章于 2024-02-25 16:16:05 发布
最新推荐文章于 2024-02-25 16:16:05 发布
阅读量153 收藏
点赞数
分类专栏： 机器学习+数学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44523062/article/details/106215777
版权

文章目录

概念

在这里插入图片描述

可分SVM推导

f ( x ) = w ∗ x + b , x 是 n 维 向 量 ， w 法 向 量 ， b 是 截 距 。 = 0 是 中 间 的 分 割 超 平 面 f(x)=w*x+b,x是n维向量，w法向量，b是截距。=0是中间的分割超平面 f(x)=w∗x+b,x是n维向量，w法向量，b是截距。=0是中间的分割超平面
所以支持平面是 w ∗ x + b = − 1 , w ∗ x + b = 1 w*x+b=-1, w*x+b=1 w∗x+b=−1,w∗x+b=1，以下3点是支撑向量
在这里插入图片描述

选择最优分割svm

在这里插入图片描述

计算点到直线的距离公式得到 ∣ ∣ w ∣ ∣ 2 ||w||_2 ∣∣w∣∣2​，点到线距离公式

在这里插入图片描述

优化目标: 让样本点距分割超平面总距离最小，且最近点支持向量的距离模取最大（其中支持面令yi=-1，1），j是第j条线：wj发线，bj截距

在这里插入图片描述

原算法要通过对偶颠倒优化顺序解决

理解：首先看哪个线可以分，其次看支持的向量距离最大

在这里插入图片描述

线性可分样本不会出现在过渡带上，软则可以

ϕ ( x ) 是 将 x 映 射 到 多 项 式 增 加 维 度 使 分 割 可 以 为 曲 线 \phi(x)是将x映射到多项式增加维度使分割可以为曲线 ϕ(x)是将x映射到多项式增加维度使分割可以为曲线

先根据所有样本到直线距离求最近min的直线w和b得到左图这么多分割线

然后求出支持点到直线距离最大的线

在这里插入图片描述

优化arg max（min{}），w法向量可缩放，等价成带约束的min{}优化

在这里插入图片描述

拉格朗日乘子法(n个样本)

进一步得到对偶函数，得到乘子最大值
原始为凸函数，则对偶函数min 最优解等价
在这里插入图片描述
非支持向量的点的 α i \alpha_i αi​=0，支持向量的 α i \alpha_i αi​不是0
在这里插入图片描述

SVM优化算法：SMO(serial max optimal)、也可以SGD优化

距离

在这里插入图片描述
在这里插入图片描述

为什么还有选择soft 松弛 SVM

在这里插入图片描述当C为无穷大则为线性可分SVM，越大越不容许错误（为了大部分分类对，牺牲分错部分）
在这里插入图片描述

将上式反过来写就是线性回归的loss加正则项：合页损失

在这里插入图片描述

核函数

系数c、核函数系数对比调参实验

在这里插入图片描述

SVM多分类问题处理

AIchiNiurou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习——SVM
fishsmans的博客
12-26 3652
一、SVM介绍 SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他其他问题中。 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（gen
机器学习05:SVM【代码及数据文件】
10-28
支持向量机(SVM)在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。本资料包含了SVM的完整解析及全部实现代码。从DataSet.txt中导入数据一直讲到SVM的线性...
机器学习 画出超平面w.T*x+b
啦啦啦的博客
07-04 3408
感觉 | f(x)=w.T*x+b | 其实求的是样本点到超平面的距离 （f(x)分正负）。。 w+=multiply(alphas[i]*label_matrix.T[i],data_matrix[i,:].T) d=x*mat(w)+b 所以理想下两个样本点f(x)值相等,就很容易确定一条分隔直线。。 不同同一直线上的三点确定一个面，超平面为二维的情况还没去测试。。 只提供个思路，如
机器学习：支持向量机（SVM）
燕双嘤
11-06 16万+
1，概述 1.1，概念 支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。 具体来说就是在线性可分时，在原空间寻找两类样本的最优分类超平面。在线性不可分时，加入松弛变量并通过使用非线性映射将低维度输入空间的样本映射到高维度空间使其变为线性可分，这样就可以在该特征空间中寻找最优分类超平面。 SV
机器学习：SVM算法（Python）
最新发布
2302_78896863的博客
02-25 2096
【代码】机器学习：SVM算法（Python）
机器学习算法（一）SVM
热门推荐
学习 & 分享 ~
06-02 25万+
支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类。SVM 适合中小型数据样本、非线性、高维的分类问题。SVM 最早是由 Vladimir N. Vapnik 和 Alexey Ya. Chervonenkis 在1963年提出，目前的版本（soft margin）是由 Corinna Cortes 和 Vapnik 在1
机器学习之SVM
湫兮如风i的博客
10-20 4323
机器学习之SVM
机器学习05：SVM支持向量机的学习和应用SVM解决猫狗图像分类问题
theworld666的博客
12-26 5202
机器学习05：SVM支持向量机的学习和应用SVM解决猫狗图像分类问题 文章目录机器学习05：SVM支持向量机的学习和应用SVM解决猫狗图像分类问题前言1.从二维线性模型说起2. 如何求解SVM的相关变量3.数据集介绍4. 数据集处理5.使用SVM解决图像分类问题并统计平均错误率结语 前言 svm作为深度学习提出前曾经风靡一段时间的机器学习方法，广泛被应用在数据分类，数据处理上。它以巧妙的算法（巧妙到对我来说真的有点复杂了????????????。。。），速度快，分类正确率高而著称。我们本篇博客则重点介绍sv
机器学习——SVM算法
qq_60707366的博客
12-18 3208
本次实验中，我尝试实现了一个简单的支持向量机（SVM）模型。总的来说，本次实验使我更好地理解了支持向量机的基本原理和实现过程，实现能够对线性可分数据进行分类的SVM算法模型，但在损失函数、间隔最大化和核技巧方面没有具体体现。
机器学习：SVM学习（优化算法流程）
Olivel1997的博客
06-02 1570
机器学习：SVM学习笔记（优化算法流程） mooc课程链接戳这里 1、扩大可选函数范围 2、低维到高维映射函数与核函数的关系 3、原问题与对偶问题 4、原问题转化为对偶问题 5、优化算法流程 ...
复习机器学习算法：SVM
bigfacesafdasgfewgf
03-05 1376
SVM的本质是寻找最大间隔的分割超平面。 SVM的假设也是在样本的每个属性前面乘以一个系数，代价函数是基于LR演化而来的。LR中是S型函数的假设，SVM中是分段函数cost的形式，再包括正则项，最后SVM的代价函数为：   当C一般要设置地很大,这样子的SVM才能够找到最大间隔的超平面，thetaT*x>=1或者thetaT*x 我们构建拉格朗日函数： 分别对
机器学习：SVM-人脸识别
12-12
机器学习：SVM-人脸识别
国信证券_20160531_国信证券机器学习专题研究：SVM算法选股以及Adaboost增强.pdf
05-12
国信证券_20160531_国信证券机器学习专题研究：SVM算法选股以及Adaboost增强.pdf
集训营先导课：SVM与XGBoost精讲
06-30
SVM的教程在网上已经有很多了，比如经典的《支持向量机通俗导论：理解SVM的三层境界》，但本课程作为《机器学习集训营》的试听课程，会手把手带你推导SVM和XGBoost。 XGBoost一直是kaggle竞赛中的神器，是boosting...
机器学习十大算法：SVM
02-21
机器学习十大算法：SVM 机器学习十大算法：SVM
opencv puttext 文本框填充颜色
weixin_44523062的博客
01-03 4240
def drawtext(image,pt1,pt2,text): fontFace = cv.FONT_HERSHEY_COMPLEX_SMALL fontScale = 1 thickness = 1 # 绘制矩形框 hei=(255, 255, 255) bai=(0,0,0) cv.rectangle(image, pt1, pt2, thickness=2, color=hei) # 计算文本的宽高，baseLine re.
欧氏距离、规范化欧氏距离=L2normal规范化平方和/模=1、softmax归一化和=1、z-sorce标准化(变化范围0~1,和不为1
weixin_44523062的博客
05-27 3377
归一化和规范化使用情况 1、在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，标准化(Z-score standardization)表现更好，可消除各个维度上的差异 2、在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用归一化方法。比如图像处理中，将RGB图像转换为灰度图像后将其值限定在[0 255]的范围 一、欧式、L2规范化欧氏距离、softmax归一化和=0 规范化： 针对数据库 规范化把关系满足的规范要求分为几级，满足要求最低的是第一范式（1N
联合分布、条件分布、边缘分布还有贝叶斯公式
weixin_44523062的博客
05-06 3144
https://blog.csdn.net/zgcr654321/article/details/85201614?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1.nonecase .
细粒度特征识别
weixin_44523062的博客
06-17 3121
魏秀参 综述 课程 Feature Feature 还是Feature 不变性：光照不变性，旋转不变性，相机不变性，ID不变性，近邻不变性 区别性：外形、细腻特征、 2012年之前 全局特征不变性较差 局部特征 2012之后 深度向量特征 用一个集合表达，怎么到向量表达 pooling 损失 的motivation 协方差矩阵 协方差–》流行空间，测地距离 ...
国信证券机器学习专题研究:svm算法选股以及adaboost增强
08-05
国信证券通过机器学习技术，研究了SVM（支持向量机）算法在选股方面的应用，以及Adaboost（自适应增强）算法在股票预测中的增强效果。 首先，SVM算法在选股中发挥了重要作用。SVM是一种监督学习算法，通过将样本映射到高维空间来构建一个最优的超平面，从而实现对未知样本的分类。在选股方面，SVM可以使用历史股票数据作为输入，通过对不同特征的权重进行学习和调整，找到最佳投资组合。通过对大量数据进行分析和训练，SVM算法能够提供准确的选股建议，并在实际投资中取得不错的效果。 其次，Adaboost算法在股票预测中的增强效果显著。Adaboost是一种集成学习算法，它通过串行训练多个弱分类器，并根据前一个分类器的错误率来调整下一个分类器的权重。这样，每个分类器都专注于之前分类器未正确分类的数据，从而提高整体预测的准确性。在股票预测中，Adaboost可以通过选择适当的特征和调整分类器的权重，对市场走势进行有效的预测。通过多层次的学习和调整，Adaboost能够提高选股策略的稳定性和盈利能力。 综上所述，国信证券利用机器学习中的SVM算法和Adaboost算法，实现了在选股和股票预测中的研究和应用。这些算法通过对数据的分析和学习，为投资者提供了准确的选股策略和市场走势预测，有望为投资者带来更好的投资回报。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值