【吃瓜教程】task05（未整理完）

【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集
西瓜书《机器学习》+南瓜书《机器学习公式讲解》。

task05 详读西瓜书+南瓜书ch6 支持向量机
（未完成版）

间隔与支持向量

在样本空间找到一个划分超平面，对样本二分类。（对于非线性可分的样本，参考二维情况，超平面就是高维的平面）。
“当超平面距离与它最近的数据点的间隔越大，分类的鲁棒性越好，即当新的数据点加入时，超平面对这些点的适应性最强，出错的可能性最小。”

对偶问题

(6.6)本身是一个凸二次规划问题。考虑其优化等价的问题，将一个原始目标函数的最小化转化为它的对偶函数最大化的问题。
接下来，先写出新目标函数的拉格朗日函数，接着写出其对偶问题，求L关于ω和b的极大，最后运用SMO求解α。
这里对(6.6)使用拉格朗日乘子法，为其中每个约束添加${\alpha }_i\ge 0$

求解：SMO

基本思路是先固定${\alpha }_i$之外的所有参数，然后求${\alpha }_i$上的极值.由于
存在约束，若固定${\alpha }_i$之外的其他变量，则${\alpha }_i$必可由其他变量导出.
于是，SMO每次选择两个变量${\alpha }_i$和${\alpha }_j$, 并固定其他参数。在参数初始化
后，不断执行如下两个步骤直至收敛：
• 选取一对需更新的变量${\alpha }_i$和${\alpha }_j$
• 固 定以外的参数，求解式(6.11)获得更新后的${\alpha }_i$和${\alpha }_j$
SMO采用了一个启发式：使选取的两变量所对应样本之间的间隔最大。一种直观的解释是，这样的两个变量有很大的差别，与对两个相似的变量进行更新相比，对它们进行更新会带给目标函数值更大的变化。

核函数

改写原分类函数

核函数

如何寻找合适的核函数：

常用的核函数可查表得到，核函数的线性组合、直积、$g(x){\kappa }_1(x,z)g(z)$已知核函数${\kappa }_1$时也是核函数。

软间隔与正则化

一个超平面不一定能完全划分（由于噪声，完全划分也不一定是最优的），可以允许支持向量机在一些样本上出错。


常用的“替代损失”函数有hinge损失、指数损失、对率损失。

类似地，引入拉格朗日函数求出对偶问题：

支持向量回归（SVR）

构造一个宽度2$ϵ$的间隔带，落入其中的样本不计损失。

核方法

参考：https://www.heywhale.com/mw/project/5e4fa70a0e2b66002c1f9080