机器学习复习：浅析支持向量机（SVM）

---

注意：！！CSDN显示不太正确（latex环境部分不支持）
请移步博客园（同样是本人）：浅析支持向量机（SVM）！！

---

brief introduction

information

​ 支持向量机（Support Vector Machine，以下简称SVM），是一个二元分类（ dualistic classification）的广义线性分类器（generalized linear classifier），通过寻找分离超平面作为决策边界（decision boundary），分离少量的支持向量（support vector），从而达到分类目的$[1][2][3]$。

​ 可采用一对一（One Versus One）、一对多（One Versus Rest）等策略转变为多分类问题$[6]$。

​ 原问题（primal problem）仅支持硬间隔最大化（hard margin maximum），添加松弛变量（slack variable）后支持软间隔最大化（soft margin maximum）。

---

details

​ 属性：稀疏性和稳健性（Robust）$[1]$、非参数模型（nonparametric models）、监督学习（supervised learning）、判别模型（discriminant model）、【KKT条件（Karush-Kuhn-Tucker condition）约束，对偶形式（dual form）转换，序列最小优化（Sequential Minimal Optimization，以下简称为SMO）算法求解$[1][4][5]$】、支持核方法（kernel method）。

​ 求解：使用门页损失函数（hinge loss function）计算经验风险（empirical risk）并在求解时加入了正则化项以优化结构风险（structural risk），1.直接进行二次规划（Quadratic Programming）求解；2.利用拉格朗日算子（ Lagrange multipliers），将其转为，符合KKT条件（Karush-Kuhn-Tucker condition）的对偶形式（dual form），再进行二次规划（Quadratic Programming）求解$[1]$。

​ 扩展：利用正则化、概率学、结构化、核方法改进算法，包括偏斜数据、概率SVM、最小二乘SVM（Least Square SVM, LS-SVM）、结构化SVM（structured SVM）、多核SVM（multiple kernel SVM）；也可扩充到回归（Support Vector Regression）、聚类、半监督学习（Semi-Supervised SVM, S3VM）。

---

problems

• generalized formula:
  • 间隔距离（support vector distance）：最优解时，值等于$\frac{2}{\Vert w\Vert }$;
  • 分割线-原点垂直距离： 最优解时，值等于$\frac{b}{\Vert w\Vert }$;
  • 简单推导：
    • $$svdistance:\begin{array}{rl}& \{\begin{array}{l}{W}^{\mathrm{T}}{x}_i^{+}+b=1\\ W^{\mathrm{T}}{x}_i+b=0\\ W^{\mathrm{T}}{x}_i^{-}+b=-1\end{array}\\ & \downarrow \\ & \{\begin{array}{ll}{W}^{\mathrm{T}}(x_i-x_j)=0& \to W\perp (x^{}\\ W\Vert (x^{+}-x^{-})& \\ W^{\mathrm{T}}{x}^{+}+b=1& \end{array}\\ & \\ & \\ & \end{array}$$