Datawhale开源组队学习 & 《机器学习》第六章 支持向量机

---

前言

兜兜转转，终于来到了第六章，毫无疑问，这一章是《机器学习》这本书目前为止的“最具挑战性”的一个章节——

---

一、旧壶装新酒

这次把凸优化问题的解法又给温习了一遍。那么回顾一下，凸优化问题的解法依次出现在了哪些地方呢？

a. SVM（硬间隔）优化模型问题：
最后我们需要求解的是一个离正负样本均“尽可能远”的超平面，并且满足其余所有样本点的几何距离均尽可能大。也就是说我们可以把这个问题归结为寻找一超平面，是的距离其几何间隔最小的样本（xmin, ymin）的间隔值尽可能大。

b. 拉格朗日对偶问题：
虽然支持向量机可以直接当做一个凸优化问题的问题来解，但是为了使问题更具一般性，（也是为了推广到非线性分类问题——核函数做铺垫），我们可以将其视作拉格朗日对偶问题来求解，对偶函数恒为一个凹函数（加一个符号即可转化为凸函数），约束条件u > = 0恒为凸集，更容易求解。

c. SVM（软间隔）优化模型：
引入松弛变量和其对应的权重，然后改变约束条件中“距离”值的范围，我们仍然可以将其转化为一个拉格朗日对偶问题来求解。

d. SVR支持向量回归模型：
从几何角度上看，是将回归模型扩展成一个具有“间隔带”的拟合区域；从数学角度上理解，将偏离间隔带的距离作为损失，然后以最小化损失的方法拟合出最后的直线和间隔区域。间隔区域可以理解成松弛变量，添加一个正则项后又是一个与SVM相同的优化模型形式，那么也可以转化成拉格朗日问题来解！

---

二、作业 6. 1的证明

作业要求证明一个样本点到超平面的距离，这应该是唯一一个能力范围之内的证明QAQ。这里再强化记忆一下~

一个问题、两个方面：
a. 从几何视角看，距离就是点到平面的投影直线的模长，也可以看做单位向量的模长（可以由法向量归一化得到）乘以距离。
b. 从向量的视角看，就是该点到投影点的向量与单位法向量的点积，把表达式展开

综合a, b 化简带入已知条件，就可以得到距离公式了。

三、 结尾说明

列出了那么多表达式，给出了那么多算法，其实我们最终都是要求解出一个合适的解。我们显然是不能用手算算出来，一个好的算法也需要我们去编程实现，希望在后续的课程中能先把理论部分消化吸收一下，学习一下如何真正利用算法到实处，解决一些有意思的问题，画下一个完美的“End”

本文重点参考以下内容：

1. 感谢帅气的马里奥老师以及他的精彩教程【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili，
2. 感谢周志华老师的硬核烧脑的西瓜书
3. 感谢Datawhale开源组织为我们提供丰富优秀的开源项目，谢谢你们！！！