第四周支持向量机算法

一、线性分类支持向量机

1、参考标准：

①错分样本数目最少→错分训练样本最少
缺陷：对判别函数的好坏评估不精细（同一数量可能有好多判别函数）、满足的判别函数未必就好（易受异常点影响）

→②支持向量机的标准：margin最大，两类样本到分类面的最短距离之和最大

分类面：$$f(x)=<\tilde{w},x_i>+\tilde{b}\{\begin{array}{ll}>0,& \text{if yi is 1}\\ <0,& \text{if yi is -1}\end{array}$$

概念：样例$(x_i,y_i)$ 对应于超平面(w,b)的(函数的)间隔是量：
$${\gamma }_i=y_i(<\tilde{w},x_i>+\tilde{b})\{\begin{array}{ll}>0,& \text{(xi,yi) 正确分类}\\ <0,& \text{ (xi,yi) 未正确分类}\end{array}$$
当权重向量为单位向量时，几何间隔等价于函数间隔，故:

对于有限个数样本，存在 $\epsilon ,s.t.y_i(<\tilde{w},x_i>+\tilde{b})\ge \epsilon$
即$y_i(<w,x_i>+b)\ge 1,\forall i$ 其中 $$\begin{gathered} w=\tilde{w}/\epsilon ,b=\tilde{b}/\epsilon , \\ w,b不是单位向量！ \end{gathered}$$

若将分类面(w,b)对应的margin记为$\rho (w,b),则\rho (w,b)=\frac{2}{||w||}$

→给定训练样本集 {$(x_1,y_1),...,(x_l,y_l),y_i\in${+1,-1}}，利用线性SVM求解线性分类面本质上是求解如下优化问题：
优化目标：$min\Phi (w,b)=\frac{1}{2}<w,w>$
约束条件：$y_i(<w,x_i>+b)\ge 1，i=1,2,...,l$

二、非线性分类支持向量机
三、再生核希尔伯特空间
四、其他相关内容