吃瓜教程第6章

Lexie_Wu

已于 2023-12-26 21:22:25 修改

阅读量756

点赞数 21

文章标签：算法

于 2023-12-26 21:16:16 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_39413975/article/details/135221488

版权

目录

间隔与支持向量

感知机和支持向量机的异同

超平面的数学表示

最大间隔的获取

原问题的对偶问题

SMO算法求解二次规划问题

低维问题——>高维问题

编辑编辑核函数

软间隔与正则化

软间隔下的优化

编辑正则化问题

支持向量回归

教材：周志华——机器学习（西瓜书）

间隔与支持向量

感知机和支持向量机的异同

同：都是利用超平面进行划分

异：

感知机只要求划分出即可，解不唯一
支持向量机要求找出正负样本都距离最远的超平面，解唯一 ——>不偏向负也不偏向正样本，泛化性能好

超平面的数学表示

超平面将空间划分为两个部分，其中法向量指向的方向为正空间，正空间内的点代入方程计算 $\textbf{w}^T\textbf{x}+b>0$ ；负空间内的点代入方程计算 $\textbf{w}^T\textbf{x}+b<0$

间隔

样本点到超平面的距离计算公式

推导过程

注意： $\textbf{w}^T\textbf{x}_0$ 为一个常数

数据集 $\textbf{X}$ 关于超平面的几何间隔

利用超平面进行分类

根据此公式，我们不难看出

如果全部分类正确，则对于每一个样本点，它的分子为:

$y_i=1$ 并且 $\textbf{w}^T\textbf{x}+b>0$ 或者 $y_i=-1$ 并且 $\textbf{w}^T\textbf{x}+b<0$ ，则 $\gamma_i >0$ ，

如果出现了分类错误的情况，则一定存在某个样本点 $\gamma_i<0$ ，由于 $\gamma = min\ \gamma_i$ ，则 $\gamma<0$ ，

即下面这段话说的意思

注：中央指支持向量机所求的唯一超平面，通过 $max \ \gamma$ 获取

最大间隔的获取

关键点：最大化问题——>最小化问题（凸优化问题）

假设样本集的分布如图所示

解释： $max\ \frac{1}{\left \| w \right \| } = min \left \| w \right \|$ ，为了方便计算，变成2范数

对偶问题

概述

关于对偶问题的知识，我个人看到一篇讲的特别好的博客（比较长但易懂且透彻)，把链接贴在这里【数学】拉格朗日对偶，从0到完全理解-CSDN博客

简单来说，设原始问题（一般凸优化中的问题都转换成最小值问题求解）的最优解为 $p^*$

若原始条件为弱对偶性时，对偶问题求出来的最优解 $d^*<p^*$ ，对偶问题求出来的最优解是原始问题最优解的下确界
若原始条件为强对偶性时，对偶问题求出来的最优解 $d^*=p^*$ ，则我们可以通过解对偶问题获得和原始问题一样的解（一般对偶问题比原始问题好求）
强对偶性满足的条件称为KKT条件

接下来我们针对问题进行具体论述：

原问题的对偶问题

步骤：求拉格朗日函数——>对各变量求偏导得到闭式解——>代回原函数得到对偶问题

KKT条件

一般情况

本例情况

从此条件中我们可以看出，对于样本集中的所有数据点，要么 $\alpha_i = 0$ ，要么 $y_if(x_i)=1$

$\alpha_i = 0$ 的点，不会计入f(x)的求和式中，对f(x)无影响
$y_if(x_i)=1$ 的点，位于最大间隔边界上，为支持向量

关键：最终模型与大部分样本无关，只与支持向量有关

SMO算法求解二次规划问题

基本思路：选定某一个/几个参数，用其他参数导出选定参数的极值。通过不断选定不同的参数最终收敛

具体操作：

如何选取变量:

已知： $\alpha_i$ 和 $\alpha_j$ 只要有一个不满足KKT条件，目标函数在迭代后就会减小；且违背KKT条件的程度越大，更新后目标函数的减幅可能越大

第一个变量：选择违背KKT程度最大的变量

第二个变量：选使目标函数减幅最大的变量

====》问题：比较所有变量的目标函数减幅很复杂=====》启发式算法：选择间隔最大的变量（认为更新后会对目标函数造成较大影响）

作用效果：

双变量问题变成单变量问题，可求闭式解=====》问题简化

如何确定偏移项b:

核函数

低维问题——>高维问题

关键点：某问题在低维空间线性不可分，映射到高维空间后线性可分

已知：若问题为有限维（属性数有限），则一定可以投射到某个高维空间使问题变成线性可分的

以下步骤只是把 $\textbf{x}$ 变成 $\phi\textbf{(x)}$ ，步骤完全一致

问题：高维空间中 $\phi(\textbf{x}_i)^T\phi(\textbf{x}_j)$ 中不好求解=====》通过核函数解决

核函数

核函数的获取和定义先在此忽略

核函数不确定=====》支持向量机的最大变数/可调整参数

核函数的组合方式

软间隔与正则化

硬间隔：所有样本都必须满足条件

软间隔：允许某些样本不满足条件，但需要付出“代价”

软间隔下的优化

C控制样本不满足约束的严格程度

但上面那个 $\iota_{0/1}$ 的性质不好，非连续非凸，所以：

最终结果只是在约束上有一点差别

正则化问题

简单来说是模型性质与拟合程度的折中（过于追求模型性质可能导致过拟合，过于追求拟合可能导致模型的性质不是我们想要的）

支持向量回归

对偶问题

最终结果（KKT条件及详细描述略)

参考视频：

第6章-支持向量机_哔哩哔哩_bilibili

第6章-软间隔与支持向量回归_哔哩哔哩_bilibili

关注

21
点赞
踩
21

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Lexie_Wu

CSDN认证博客专家 CSDN认证企业博客

码龄7年

华中科技大学

5: 原创

69万+: 周排名

29万+: 总排名

2973: 访问

: 等级

106: 积分

38: 粉丝

55: 获赞

2: 评论

50: 收藏

私信

关注

热门文章

分类专栏

机器学习 1篇

最新评论

吃瓜教程第6章
CSDN-Ada助手: 恭喜你写完了第5篇博客！看来你对“吃瓜教程”有着很多心得体会啊。不过我觉得接下来可以考虑加入一些实用的案例分析，或者是一些具体的操作步骤，这样读者们会更容易理解并且能够得到更多的启发。希望你能够继续保持创作的热情，期待你的下一篇作品！
吃瓜教程第5章
CSDN-Ada助手: 恭喜作者在博客上发布了第四篇文章，标题为“吃瓜教程第5章”。看来作者对于吃瓜教程有着深入的研究和思考，能够写出如此精彩的文章真是不容易。希望作者能够继续坚持创作，不断提升自己的写作水平，为读者带来更多有价值的内容。或许下一步可以考虑添加一些案例分析或者实际操作的经验分享，这样能够更好地帮助读者理解和应用吃瓜教程的知识。期待作者的下一篇作品，继续加油！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
吃瓜教程第3章
CSDN-Ada助手: 太棒了！看到你写的第二篇博客我感到非常振奋，希望你能继续保持创作的热情！关于你这篇博文的内容，我觉得你可以进一步了解一些相关的知识，比如在凸函数的求解中，除了一阶梯度推广到二阶海塞矩阵外，还可以了解到Lipschitz连续和强凸函数的概念，这些都是深入理解凸函数性质的重要内容。另外，你也可以进一步探讨海塞矩阵的应用，比如在牛顿法中的作用等等。希望这些建议能对你有所帮助，期待你更多的精彩内容！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
吃瓜教程1-2章
CSDN-Ada助手: 恭喜你开始了博客创作，标题“吃瓜教程1-2章”听起来非常有趣！希望你能继续分享更多有趣的教程内容，让读者们能够从中受益。建议你在下一篇博客中加入更多细节和实用的技巧，让读者们更好地理解和学习。加油！期待你更多精彩的作品！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1

大家在看

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。