《机器学习》--周志华 （第六章学习笔记）

最新推荐文章于 2024-05-23 19:32:12 发布
最新推荐文章于 2024-05-23 19:32:12 发布
阅读量2.5k 收藏 8
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cristal_yin/article/details/76360332
版权
本文是《机器学习》第六章的学习笔记，主要探讨支持向量机（SVM）。首先解释了间隔和支持向量的概念，说明它们如何影响模型的鲁棒性和泛化能力。接着介绍了SVM的对偶问题，利用拉格朗日乘子法和KKT条件求解，并阐述了核函数的作用，允许在高维特征空间中实现线性可分。此外，讨论了软间隔和正规化的应用，以应对实际问题中的非线性可分性。最后，简要介绍了支持向量回归（SVR）及其ε-不敏感损失函数。
摘要由CSDN通过智能技术生成

支持向量机

间隔与支持向量

​ 在样本空间中寻找一个超平面，将不同类别的样本分开

​ “正中间”的：鲁棒性最好，泛化能力最强

​

​

对偶问题

  • 拉格朗日乘子法

    • 第一步：引入拉格朗日乘子 ai>=0 得到拉格朗日函数

    • 第二步：令 L(w,b,a) 对w和b的偏导为零可得

    • 第三步：回代可得

    最终模型

    ​

    KKT条件

    ​

    必有 ai=0或

最低0.47元/天 解锁文章
Cristal_yin
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《机器学习-周志华》学习笔记
10-17
为了训练一个真正有效、优化的模型，需要学习一下机器学习的理论知识。周志华的教材非常经典，但概念较多，特别是前两章，在学习中作了笔记，现分享出来，希望能有帮助。
周志华《机器学习》学习笔记（大全）
03-06
本文为周志华《机器学习》的学习笔记，记录了本人在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容，向前辈们和知识致敬！
[深度学习]Part2 支持向量机（SVM）Ch09-2——【DeepBlue学习笔记】
LiongLoure的博客
08-09 420
仅供学习使用
机器学习周志华- 第六章学习笔记6.1-6.4
weixin_30915275的博客
08-30 401
本周学习了6.1-6.4节 间隔与支持向量 对于二分类学习，假设现在的数据是线性可分的，这时分类学习最基本的想法就是找到一个合适的超平面，该超平面能够将不同类别的样本分开，类似二维平面使用ax+by+c=0来表示，超平面实际上表示的就是高维的平面。 函数间隔就是|w’x+b|，而几何间隔就是点到超平面的距离 函数间隔不适合用来最大化间隔，因此这里我们要找的最大间隔指的是几何间隔，于是最大间隔分类...
支持向量机回归预测（SVR）的MATLAB实现（含源代码）
最新发布
沅的博客
05-23 2112
SVR使用一种ε-不敏感损失函数（ε-insensitive loss function），其定义为：该函数的目的是使偏差在ε范围内的预测不被视为错误，从而允许模型忽略一些小的偏差。
机器学习理论 | 周志华西瓜书 第六章：支持向量机
Tinky2013的博客
03-20 727
第六章 支持向量机 6.1【间隔与支持向量】 1、超平面(w,b) 存在多个划分超平面将两类样本分开 线性方程 w：法向量，决定超平面方向 b：位移项，决定超平面与原点之间的距离 样本空间中任意点到超平面的距离 2、支持向量(super vector) 条件一：距离超平面最近的几个训练样本点 条件二：使得右边任一式子的等号成立 3、间隔(margin) 两个一类支持向量到超平面的距离直和 4、最大...
周志华机器学习总结第6章
qq_33669204的博客
10-21 532
支持向量机间隔与支持向量对偶问题对偶问题求解核函数软间隔与正则化 间隔与支持向量 对于存在可以将两类训练样本分开的多个划分超平面，划分超平面距离样本的距离越远，那么这个划分超平面产生的分类结果是最鲁棒的，对未见示例的泛化能力越强。 超平面的表述： ωTx+b=0\boldsymbol{\omega}^T\boldsymbol{x} + b = 0ωTx+b=0 ω\boldsymbol{\omeg...
周志华《机器学习》同步学习笔记 ——第六章 支持向量机
克小洛的秘密基地
07-21 898
周志华《机器学习》同步学习笔记 ——第六章 支持向量机6.1 间隔与支持向量6.2 对偶问题得到对偶问题SMO求解6.3 核函数6.4 软间隔与正则化软间隔正则化6.5 支持向量回归6.6 核方法 6.1 间隔与支持向量 定义：   1.分类学习中应找到两类训练样“正中间”的划分超平面（泛化能力最强）         &nb...
西瓜书学习（task2）
weixin_42248723的博客
06-21 247
4.1.1组成 一颗决策树包含一个根结点、若干个子结点和若干个叶结点。 根结点：包含样本全集； 子结点：对应属性划分，包含划分样本； 叶结点：对应决策结果，包含决策样本。 从根结点到每个叶结点的路径：对应一个判定测试序列（系列子决策）。 4.1.2目的 产生一棵泛化能力强，处理未见示例能力强的决策树。 4.1.3策略 决策树采用分而治之(Divide and Conquer)策略，以一系列的子决策决定分类结果。 4.1.4算法 上...
机器学习-西瓜书笔记汇总1
08-03
1绪论傍晚小街路面上沁出微雨后的湿润，和熙的细风吹来，抬头看看天边的晚霞，嗯，明天又是一个好天气。走到水果摊旁，挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜，一边满
《机器学习(周志华)》学习笔记.pdf
05-12
138页的内容，完整记录了学周志华西瓜书《机器学习》16个篇章的学习和体会。
周志华-机器学习-习题5.5 BP算法.zip
04-09
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
人工智能：支持向量机SVM 练习题（带解析）
hanmo22357的博客
11-30 9503
在支持向量机中，如果当前维度不存在一个能够完全正确地划分两类样本的超平面，那么就可以把样本从原始空间映射到一个更高维的特征空间，使得样本在这个更高维度的特征空间中线性可分。：核函数可以将高维特征空间中两个向量的内积计算过程转化为求解原始特征空间中两个向量的核函数值，从而大大降低了计算高维内积的困难，并且映射方式由核函数本身唯一显式确定。：支持向量机的解具有稀疏性，是指支持向量机的模型参数只与样本特征向量中少数的支持向量有关系，而与大多数样本点无关。A.当数据是线性可分时，可以考虑支持向量机的基本型。
支持向量机(二)
sunghosts的专栏
07-14 353
核函数 异或问题不是线性可分的，对这样的问题，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。如果原始空间是有限维，即属性数有限，那么一定存在一个高维特征空间使样本可分。 令 ϕ(x)\phi(x)ϕ(x) 表示将 xxx 映射后的特征向量，于是，在特征空间中划分超平面所对应的模型可表示为 f(x)=wTϕ(x)+bf(x)=w^T \phi(x) + bf(x)=wTϕ(x)+b 类似上篇博客提到的对偶问题，映射后的公式如下： maxα∑i=1mαi−12∑i=1m∑j=
关于支持向量机SVM,下列说法错误的是
Learning from the mistakes
02-25 8024
感想看来我是忘记支持向量机了，忘记那个C的作用，忘记了那个最大软间隔了，在哪里跌倒了，就在哪里爬起来。problem关于支持向量机SVM,下列说法错误的是（）A. L2正则项，作用是最大化分类间隔，使得分类器拥有更强的泛化能力B. Hinge 损失函数，作用是最小化经验分类错误C. 分类间隔为1/||w||，||w||代表向量的模D. 当参数C越小时，分类间隔越大，分类错误越多，趋于欠学习答案：C...
西瓜书习题 - 6.支持向量机
wdn blog
10-26 1万+
西瓜书第六章支持向量机习题
《机器学习》周志华 第6章支持向量机。笔记+习题
weixin_45775701的博客
11-17 9501
裂开了呀，我高数都快忘完了 这章对我来说太难了！！！！！ 公式推导可以参考link. 《机器学习实战》参考 link. 理解要做什么** Maximal margin classifer Support Vector Classifier 二者局限 6.1 间隔与支持向量 6.2对偶问题 6.3核函数 6.4软间隔与正则化 6.5支持向量回归 6.6核方法 ...
《机器学习》学习笔记（六）——支持向量机（SVM）
闭关修炼——暂退
04-29 7109
机器学习(Machine Learning)是一门多学科交叉专业，涵盖概率论知识，统计学知识以及复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式， 并将现有内容进行知识结构划分来有效提高学习效率。本专栏将以学习笔记形式对《机器学习》的重点基础知识进行总结整理，欢迎大家一起学习交流！专栏链接：《机器学习》学习笔记 1. 概述 支持向量机（support vector mac...
机器学习（周志华）课后作业/习题答案
热门推荐
Mr_Cat123的博客
01-23 2万+
前言：本作业系笔者通过个人思考、参考博文、引擎搜索、查阅资料等各种途径完成，因此必然有解答不当之处。故本系列答案仅仅作为笔者个人笔记使用（相当于笔者的在线笔记本，因此仅一家之言）。此外笔者只完成部分认为有用的问题。 持续更新中… 第一章 1.1 通常情况下，版本空间是正例的泛化。在我们确定学习目标之后（比如找到“好瓜”，视为正例），可能有多个假设（hypothesis）是跟我们的目标一致的，满足...
《机器学习》 周志华学习笔记第十四章 概率图模型（课后习题）python实现
05-17
本次我们将学习如何用 Python 实现《机器学习》周志华教授第十四章中的概率图模型习题。在这里，我们将使用 Python 的 pgmpy 库来构建和分析概率图模型。 首先，我们需要安装 pgmpy。可以使用 pip 安装： ```...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值