#7机器学习（西瓜书）自学记录

目录

第六章.支持向量机

1.概念：

2.公式：

---

第六章.支持向量机

1.概念：

• 超平面：

• 点到超平面的距离

• 支持向量：距离超平面距离最小的几个样本点使得下述不等式成立

• 间隔：异类支持向量到超平面的距离之和

• 对偶问题^[https://www.cnblogs.com/moonout/p/16700952.html]：对偶问题是另一个优化问题（称为原问题）的转换形式。在对偶问题中，原问题的目标函数和约束条件被重新构造，以形成一个新的问题，其目标是优化一个与原问题相关但不同的目标函数。

• 核技巧：核技巧（Kernel Trick）是一种在机器学习领域中用于处理非线性问题的数学方法。它允许算法在高维特征空间中有效地进行线性计算，而无需显式地定义或计算高维空间的坐标。

• 核函数：核技巧中采用的函数

• 软间隔：软间隔（Soft Margin）是在构建SVM分类器时，允许一些数据点违反间隔边界，即允许模型在一定程度上接受数据点的误分类或边界点的存在。

2.公式：

• Original SVM

  • 建模与目标：最大间隔

  即：

- 求解思路：对偶问题
​
  上述目标的 lagrange 函数表示为：

  考虑其对偶问题：

- 改进1思路：基于核方法实现高维空间的线性可分
​
  设计

  使得

  求解得

- 改进2思路：基于软间隔正则化缓解线性不可分、过拟合问题
​
  允许样本（尽可能少地）不满足约束

  利用“替代损失”代替“0-1损失”以改善数学性质：

损失指数损失对率损失

  即引入松弛变量：

• SVM Regression

  • 建模：损失存在容忍区域

  • 

  引入松弛变量：

此内容是本人第一次通过看书和相关视频学习周志华《机器学习》，在此发表的一些个人的看法与见解，如有错误在里面必然是本人见识低陋，望读者朋友务必指出，我好加紧改正。本内容仅仅是本人学习的记录。想要深入了解《机器学习》的朋友务必下去看看书。谢谢。

参考说明：

相关截图：来自b站 周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》BV1gG411f7zX

【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集 BV1Mh411e7VU