注意:!!CSDN显示不太正确(latex环境部分不支持)
请移步博客园(同样是本人):浅析支持向量机(SVM)!!
brief introduction
information
支持向量机(Support Vector Machine,以下简称SVM),是一个二元分类( dualistic classification)的广义线性分类器(generalized linear classifier),通过寻找分离超平面作为决策边界(decision boundary),分离少量的支持向量(support vector),从而达到分类目的 [ 1 ] [ 2 ] [ 3 ] [1][2][3] [1][2][3]。
可采用一对一(One Versus One)、一对多(One Versus Rest)等策略转变为多分类问题 [ 6 ] [6] [6]。
原问题(primal problem)仅支持硬间隔最大化(hard margin maximum),添加松弛变量(slack variable)后支持软间隔最大化(soft margin maximum)。
details
属性
:稀疏性和稳健性(Robust) [ 1 ] [1] [1]、非参数模型(nonparametric models)、监督学习(supervised learning)、判别模型(discriminant model)、【KKT条件(Karush-Kuhn-Tucker condition)约束,对偶形式(dual form)转换,序列最小优化(Sequential Minimal Optimization,以下简称为SMO)算法求解 [ 1 ] [ 4 ] [ 5 ] [1][4][5] [1][4][5]】、支持核方法(kernel method)。
求解
:使用门页损失函数(hinge loss function)计算经验风险(empirical risk)并在求解时加入了正则化项以优化结构风险(structural risk),1.直接进行二次规划(Quadratic Programming)求解;2.利用拉格朗日算子( Lagrange multipliers),将其转为,符合KKT条件(Karush-Kuhn-Tucker condition)的对偶形式(dual form),再进行二次规划(Quadratic Programming)求解 [ 1 ] [1] [1]。
扩展
:利用正则化、概率学、结构化、核方法改进算法,包括偏斜数据、概率SVM、最小二乘SVM(Least Square SVM, LS-SVM)、结构化SVM(structured SVM)、多核SVM(multiple kernel SVM);也可扩充到回归(Support Vector Regression)、聚类、半监督学习(Semi-Supervised SVM, S3VM)。
problems
- generalized formula:
- 间隔距离(support vector distance):最优解时,值等于 2 ∥ w ∥ \frac{2}{\| w \|} ∥w∥2;
- 分割线-原点垂直距离: 最优解时,值等于 b ∥ w ∥ \frac{b}{\| w \|} ∥w∥b;
- 简单推导:
- s v d i s t a n c e : { W T x i + + b = 1 W T x i + b = 0 W T x i − + b = − 1 ↓ { W T ( x i − x j ) = 0 → W ⊥ ( x i − x j ) W ∥ ( x + − x − ) → x + = x − + λ W W T x + + b = 1 → λ W T W = 2 , ∣ λ ∣ = 2 ∣ W T W ∣ ↓ m a x i m i z e ∥ x + − x − ∥ → ∥ x + − x − ∥ = ∥ λ W ∥ = 2 ∥ W ∥ \color{black}{s\,v\,distance\,:} \begin{aligned} &\begin{cases} W^{\rm{T}}x_i^++b=1\\ W^{\rm{T}}x_i+b=0\\ W^{\rm{T}}x_i^-+b=-1\\ \end{cases} \\ &\downarrow \\ &\begin{cases} W^{\rm{T}}(x_i-x_j)= 0 &\rightarrow W\bot (x_i-x_j)\\ W\| (x^+-x^-) &\rightarrow x^+=x^-+\lambda W\\ W^{\rm{T}}x^++b=1 &\rightarrow \lambda W^{\rm{T}}W=2, \,|\lambda| =\frac{2}{|W^{\rm{T}}W|}\\ \end{cases} \\ &\downarrow \\ &maximize\;\|x^+-x^-\| \\ &\rightarrow \|x^+-x^-\| = \|\lambda W\|=\frac{2}{\|W\|} \end{aligned} svdistance:⎩⎪⎨⎪⎧WTxi++b=1WTxi+b=0WTxi−+b=−1↓⎩⎪⎨⎪⎧WT(xi−xj)=0W∥(x+−x−)WTx++b=1→W⊥(x