【Datawhale-机器学习-Task07-支持向量机】

【学习内容：西瓜书与南瓜书：第六章–支持向量机】

【一、基本定义】

样本空间中任意点x到超平面$\left(\omega ,b\right)$ 的距离为：
$$r=\frac{\left|{\omega }^{T}x+b\right|}{\Vert \omega \Vert }$$

假设超平面$\left(\omega ,b\right)$可以将样本进行正确的分类，即存在
$$\{\begin{array}{r}{\omega }^T+b\ge +1,y_i=+1\\ {\omega }^T+b\le -1,y_i=-1\end{array}$$
$$\Downarrow$$
$$y_i\left({\omega }^T{x}_i+b\right)\ge 1,i=1,2,\cdots ,n$$

【定义：支持向量】距离超平面最近的这几个训练样本点使上式的等号成立，它们被称之为“支持向量”。
两个异类支持向量到超平面的距离之和为
$$\gamma =\frac{2}{\Vert \omega \Vert }$$
也被称为“间隔”。

则最优化问题变成
$$\underset{\omega ,b}{\max }\frac{2}{\Vert \omega \Vert }$$
$$s.t.y_i\left({\omega }^T{x}_i+b\right)\ge 1,i=1,2,\cdots ,m.$$
变换下形式，改成
$$\underset{\omega ,b}{\min }\frac{1}{2}{\Vert \omega \Vert }^2$$
$$s.t.y_i\left({\omega }^T{x}_i+b\right)\ge 1,i=1,2,\cdots ,m.$$
即为支持向量机（Support Vector Machine，简称SVM）的基本型。

【二、对偶问题】

对于一般地约束优化问题$$\begin{array}{ll}\min & f(\mathbf{x})\\ \text{ s.t. }& g_i(\mathbf{x})⩽0i=1,2,\dots ,m\\ & h_j(\mathbf{x})=0j=1,2,\dots ,n\end{array}$$
若目标函数$f\left(x\right)$ 是凸函数，约束集合是凸集，则称上述优化问题为凸优化问题，特别地，$g_i\left(x\right)$ 是凸函数， $h_i\left(x\right)$是线性函数时，约束集合为凸集，该优化问题为凸优化问题。

显然，针对支持向量机的函数进行分析，可得到支持向量机是一个凸优化问题。

拉格朗日函数为:
$$L\left(x,\mu ,\lambda \right)=f\left(x\right)+\sum _{i=1}^m{\mu }_i{g}_i(\mathbf{x})+\sum _{j=1}^n{\lambda }_j{h}_j$$
拉格朗日对偶函数：
$$\Gamma (\mathbf{\mu },\mathbf{\lambda })=\underset{\mathbf{x}\in D}{\inf }L(\mathbf{x},\mathbf{\mu },\mathbf{\lambda })=\underset{\mathbf{x}\in D}{\inf }\left(f(\mathbf{x})+\sum _{i=1}^m{\mu }_i{g}_i(\mathbf{x})+\sum _{j=1}^n{\lambda }_j{h}_j(\mathbf{x})\right)$$
对偶函数重要性质：
（1）无论上述优化问题是否是凸优化问题，其对偶函数$\Gamma (\mathbf{\mu },\mathbf{\lambda })$恒为凹函数；
（2）当$\mu ⪰0$时，$\Gamma (\mathbf{\mu },\mathbf{\lambda })$构成了上述优化问题最优值的下界，也即$\Gamma (\mathbf{\mu },\mathbf{\lambda })\le p^{\ast }$.

参考资料与文献
1、周志华. 机器学习[M]. 北京：清华大学出版社，2016.
2、谢文睿 秦州 贾彬彬 . 机器学习公式详解 第 2 版[M]. 人民邮电出版社，2023
3、感谢Datawhale小组所做的贡献，本次学习主要参考视频：https://www.bilibili.com/video/BV1Mh411e7VU?p=9&vd_source=7f1a93b833d8a7093eb3533580254fe4。