《机器学习技法》第1课笔记 线性SVM

课程来源：林轩田《机器学习技法》

课程地址： https://www.bilibili.com/video/av12469267/?p=1

1. 为什么要选择最右边这个分类线？

因为考虑了测量误差的情况下，右边的分类线鲁棒性最强。

2. SVM推导

1）平面上的点满足

2）两个平面上的点相减会等于0，w提出来，这里的w就是法向量。平面外的点到平面的距离，就是在法向量上的投影长度

3）计算点到平面的距离。因为wtx‘=-b，所以可以提出来

4）把绝对值去掉。yn表示分类的符号，我们希望分类的符号与点到平面的距离是同一边的，所以相乘大于0，因此可以利用这样去掉绝对值符号

5）我们的目标也就转变为求所有点面距离的最小值

6）继续简化。考虑到线的系数都是可以缩放的，所以我们希望直接缩放到1，这样要求的问题就只有1/|w|了

7）此时我们的目标

8）把目标稍微放宽，发现它们的解是等价的。因为如果有大于1的最优解，那么可以通过缩放w和b的方式=1，此时w就变了，说明求得的1/|w|不是最优解。因此当求到最优解时，必然满足1。

9）进一步，将最大化转变为最小化，同时去掉绝对值（使用内积的方式）

3. 如何解上述问题？可以使用二次规划（quadratic programming，QP）。所以现在要做的就是转换成二次规划的标准形式。

4. 二次规划问题的标准形式：

1）u是变量

2）Q是二次项

3）p是一次项

5. 将求解支持向量平面的问题转换为二次规划问题，然后扔进软件，求最优解

1）u是b和w

2）这里的Q的作用就是去掉b，只留下w相关的

3）a*u=b+xw

6. SVM的理解1：和正则化其实很像，是一体两面的

7. SVM的理解2：可以同时兼顾少量维度&复杂边界情况，更灵活