周志华机器学习西瓜书 第六章 支持向量机-学习笔记(超详细！)

已于 2025-03-01 18:49:33 修改
阅读量1.5k 收藏 9
点赞数 29
CC 4.0 BY-SA版权
分类专栏： 周志华西瓜书——详细笔记附例题、图解 文章标签： 机器学习 支持向量机 学习 人工智能 数据挖掘
于 2025-02-18 23:37:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56950091/article/details/145618503

创建了一个微信交流群，想加入的朋友+WeChat:SODAS_MUSIC_STUDIO

支持向量机其实就是一个从几何角度建模的模型，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好！

序：回顾线性分类器

在样本空间中寻找一个超平面将不同的类别分开。

但是对于上图，其实可以用很多种分类方法，这么多种分类方法哪一个最好？

从直觉上来看，"正中间

了解本专栏 订阅专栏 解锁全文 超级会员免费看
周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)
Sodas的博客
03-01 421
举个例子：假如集成学习器有9个个体，求的是集成学习错误率，即预测失败的概率。即在训练过程中每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接收带权样本的基学习算法，则可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。随机森林的训练效率常优于Bagging，因此在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对结点所有的属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。
周志华机器学习西瓜书第三章 线性模型学习笔记(超详细)
Sodas的博客
01-22 1084
本章笔记非常详细适合基础薄弱者，整理了很多大佬的笔记和自己的理解，希望读者认真研究仔细推敲。
《机器学习》周志华-CH6（支持向量机）
一名混沌的大学生
09-04 1168
我们希望样本在特征空间内线性可分，因此特征空间的好坏对支持向量机的性能至关重要。
机器学习周志华学习笔记-第6章＜支持向量机＞
ydl1128的博客
11-23 921
机器学习周志华学习笔记-第6章
机器学习.周志华《6 支持向量机》
女王の专属领地
04-05 1926
间隔与支持向量 分类学习的最基本想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。能将训练样本划分开的平面可能有很多个，选择位于两类训练样本正中间的划分超平面，原因是这个超平面的分类结果最鲁棒，泛化能力最强。在样本空间中，划分超平面可通过以下线性方程来描述 样本空间中任意点 x到超平面 (w,b)的距离可以写成 假设超平面能够正确分类样本，则可以通过对w缩放可以使得下式成立...
<机器学习>(周志华)读书笔记 -- 第六章 支持向量机
ANONYMOUSLYCN的专栏
07-25 2864
支持向量机是当下比较经典的一个算法，其中台湾大学林智仁教授还开发了一个简单快速的svm库--libsvm这个svm的程序在目前各个机器学习包中都有广泛的嵌入式用。但是我们仍然需要对SVM的原理进一步了解。SVM是一个经典的二分类模型。 6.1 间隔与支持向量 对于两类数据来说，有很多种划分的选择可以把这两类数据基于某种维度进行划分，但是，这里出现了一个问题，不同的划分肯定带来的效果不同，那么哪...
机器学习（周志华）读书笔记---第6章 支持向量机
铭宇要做后台攻城狮
05-15 961
6.1 间隔与支持向量 超平面：决策平面 支持向量：距离超平面最近得几个训练样本 最大化间隔，SVM（支持向量机）的基本型： 6.2 对偶问题 通过拉格朗日乘子法得到对偶问题： 拉格朗日乘子法需满足KKT条件 支持向量机解的稀疏性：训练完成后，大部分的训练样本都不需保留，最终模型仅与支持向量有关。 没用公式求解b，利用支持向量去求解 最终解： 求解拉格朗日乘子（...
机器学习（西瓜书）第六章 支持向量机（SVM）
最新发布
在猴站学算法
09-14 1093
本文介绍了支持向量机(SVM)的核心概念和应用。首先阐述了二分类问题中寻找最优划分超平面的原理，通过最大化间隔来提高模型的鲁棒性。其次解释了使用拉格朗日乘子法将原始问题转化为对偶问题的过程，并指出最终模型仅与支持向量有关。针对非线性可分问题，引入了核函数方法将样本映射到高维特征空间。接着讨论了软间隔概念和正则化技术，以处理存在噪声或异常点的现实数据。最后简要介绍了支持向量回归(SVR)和核方法的应用。全文系统地呈现了SVM的数学原理和实际应用策略，包括间隔最大化、核技巧、软间隔和正则化等关键技术。
周志华机器学习西瓜书 第九章 聚类-学习笔记
Sodas的博客
03-15 406
还要其他的有标记样本使用聚类的算法，除了这种指定正类负类的。其中𝑑𝑖𝑠𝑡(𝑥𝑖,𝑥𝑗)用于计算两个样本之间的距离，avg(C)是指簇内样本的平均距离，diam(C)是簇内样本的最大距离，𝑑𝑚𝑖𝑛(𝐶𝑖,𝐶𝑗)是簇间样本的最小距离，𝑑𝑐𝑒𝑛(𝐶𝑖,𝐶𝑗)是簇与簇之间中心点的距离。聚类是无监督学习中非常典型的任务，聚类的目的是将数据样本划分为若干个通常不相交的子集，每一个子集成为"簇-cluster"，其即可以作为一个单独过程，用于找寻数据内在的分布结构，也可作为
《机器学习（周志华）》——第6章 支持向量机
CodeSamer的博客
07-11 3688
1、间隔与支持向量 （1）分类学习的最基本思想就是：基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。   （2）在样本空间中，用线性方程来表示划分超平面：ωTx + b = 0 ；其中ω = (ω1;ω2; … ; ωd)为法向量，决定超平面内的方向；b为位移项，决定超平面与原点之间的距离。        则样本空间中任意点x到超平面的距离为：   假设超平面(ω...
[机器学习 - 周志华] - 第六章 支持向量机
Eathen的练级之路
12-20 7140
间隔与支持间隔 分类学习的最基本想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。 能将训练样本划分开的平面可能有很多个，选择位于两类训练样本正中间的划分超平面，原因是这个超平面的分类结果最鲁棒，泛化能力最强。 在样本空间中，划分超平面可通过以下线性方程来描述 ωTx+b=0\omega^T x + b = 0 样本空间中任意点 xx 到超平面 (w,b)(w,b) 的距
周志华《Machine Learning》学习笔记（7）--支持向量机
VAY-长跑
01-21 6825
上篇主要介绍了神经网络。首先从生物学神经元出发，引出了它的数学抽象模型–MP神经元以及由两层神经元组成的感知机模型，并基于梯度下降的方法描述了感知机模型的权值调整规则。由于简单的感知机不能处理线性不可分的情形，因此接着引入了含隐层的前馈型神经网络，BP神经网络则是其中最为成功的一种学习方法。本篇围绕的核心则是另一种监督学习算法–支持向量机（Support Vector Machine），简称SVM。
支持向量机——机器学习(周志华)
htfenght的博客
10-10 1125
支持向量机
【周志华机器学习】六、支持向量机
weixin_42301220的博客
04-06 1886
文章目录参考资料1. 基本概念1.1 函数间隔与几何间隔1.1.1 函数间隔1.1.2 几何间隔 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客为作者根据周志华的西瓜书和参考资料1、2、3所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。 如果本篇博客有后记部分，则该部分表示的是在书本原有的基础知识上，进行的知识点的扩充。 1. 基本概念 支持向量机是一种经典的二分类模型，基本模型定义为特征空间中最大间隔的
读书笔记 机器学习-周志华 第六章 支持向量机
Atom爱疼的博客
03-19 441
学习笔记 机器学习-周志华 第六章 支持向量机6.1 间隔与支持向量机 6.1 间隔与支持向量机 任意点到超平面距离r=∣wTx+b∣∣∣w∣∣r=\frac{|w^Tx+b|}{||w||}r=∣∣w∣∣∣wTx+b∣​ 两个异类向量到超平面之间的距离之和γ=2∣∣w∣∣\gamma = \frac{2}{||w||}γ=∣∣w∣∣2​，称为“间隔”（margin）。 欲找到最大间隔划分平面，即...
《机器学习》（周志华）学习笔记（六）：支持向量机
weixin_43200252的博客
09-22 807
《机器学习》（周志华）学习笔记（六）：支持向量机引言1.基本概念——间隔与支持向量2.对偶问题3.核函数4.软间隔与正则化5.支持向量回归6.核方法 引言 上一篇学习了神经网络这个机器学习的核心方法。首先对神经网络基本概念及结构进行介绍。神经网络由单个神经元连接构成简单的两层神经元就可以构成能够容易实现基本逻辑与、或、非得机构，但要解决非线性可分问题，还需要使用“多层前馈神经网络”。接着又介绍了针...
机器学习基础——支持向量机
g11d111的博客
03-24 3034
前言    最开始接触SVM是在吴恩达的课程上，展示了一个例子：用SVM将人声从环境声中单独剥离出来。后来，在吴教授的Coursera机器学习课程中监督学习部分的末尾，讲述了SVM。但是他所讲述的SVM是基于逻辑回归修改而得来的。 这个东西确实不太好明白，目前我也只是将自己的理解结合July的资料整理描述出来，在未来会继续的修正与更新这块内容，下面就开始我的粗浅的认识。 一、
《机器学习》周志华-CH6 支持向量机
肥猫
02-03 970
CH6 支持向量机
《机器学习》（周志华） 第6章 支持向量机
magicbuaa的专栏
06-03 862
6.1 间隔和支持向量 给定一个训练集，最基本的想法就是找一个超平面划分他们。 在这些超平面中，正中间的显然“容忍性”最好，即“鲁棒”性 超平面可用以下式子来描述： w`x + b = 0 任意x到平面距离可写为： r = |w'x+b| / ||w|| 假设这个面能正确分类，即对于y=1，w'x+b>0；y=-1,w`x+b<0。 放在实际里，可能不仅是>0 <0，...
周志华机器学习西瓜书第二章学习笔记
01-24
### 关于周志华《机器学习》（西瓜书）第二章的学习笔记 #### 模型评估与选择概述 模型评估与选择是机器学习领域的重要组成部分，旨在通过合理的方法评价不同模型的表现并挑选最优者。这一过程不仅涉及如何衡量单个...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sodas（填坑中....）

感谢老铁支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值