吴恩达机器学习之最优间隔分类器

最优间隔分类器

定义目标函数:
$h_{w,b}=g(w^Tx+b)$，$g(z)=\begin{cases} 1&z\geq0 \\ 0&z<0 \end{cases}$，$y\in \lbrace-1,1\rbrace$
定义函数间隔：
$\Upsilon^{-}_i=y^i(w^Tx^i+b)$
定义几何间隔：
$\Upsilon_i=y^i(\frac{w^T}{\mid w\mid}x^i+\frac{b}{\mid w\mid})$
那么有：$\Upsilon_i=\frac{\Upsilon^{-}_i}{\mid w\mid}$，函数间隔会随着$w$和$b$的改变而变化，而几何间隔则是不变得，最优间隔分类器的目的就是使几何间隔最大化

目标1. $max_{\Upsilon,w,b}\Upsilon$ 　$s.t.$　$y^i(\frac{w^T}{\mid w\mid}x^i+\frac{b}{\mid w\mid})\geq \Upsilon$
目标2. $max_{\Upsilon^{-},w,b}\frac{\Upsilon^{-}}{\mid w\mid}$ 　$s.t.$　$y^i(w^Tx^i+b)\geq \Upsilon^{-}$
目标3. $\min_w\mid w\mid^2$，$s.t.　y^i(w^Tx^i+b)\geq1$(令$\Upsilon^{-1}=1$)

由于这两种优化问题都是非凸优化，因此不会收敛到全局最小值，只会收敛到局部最小值，要用对偶问题来解答。

拉格朗日乘数法

目标函数定义：
$min_{w}f(w) 　s.t.　h_i(w)=0$
定义拉格朗日算子
$L(w,\beta)=f(w)+\sum_i\beta_ih_i(w)$
令偏导数等于0：
$\frac{\partial L(w,\beta)}{\partial w}=0$，$\frac{\partial L(w,\beta)}{\partial\beta}=0$
如果$w^*$是解，那么存在$\beta^*$，使得：
$\frac{\partial L(w^*,\beta^*)}{\partial w}=0$，$\frac{\partial L(w^*,\beta^*)}{\partial\beta_i}=0$

广义拉格朗日乘数法

目标函数定义：
$min_{w}f(w) 　s.t.　g_i(w)\leq0, h_i(w)=0$
定义广义拉格朗日算子
$L(w,\alpha,\beta)=f(w)+\sum_i\alpha_ig_i(w)+\sum_i\beta_ih_i(w)$
定义：$\theta_p(w)=max_{\alpha,\beta}L(w,\alpha,\beta)$
$\theta_p(w)=\begin{cases}f(w)&g_i(w),h_i(w)满足条件\\ \infty&otherwise\end{cases}$
那么原始问题定义为：
$p^*=min_w\theta_p(w)=min_wmax_{\alpha,\beta}L(w,\alpha,\beta)$
拉格朗日乘数法的原理可以参考下面这篇文章http://blog.csdn.net/z_x_1996/article/details/71705650

对偶问题

定义：
$\theta_D(\alpha,\beta)=min_wL(w.\alpha,\beta)$
它的对偶问题是：
$d^*=max_{\alpha\geq0,\beta}\theta_D(\alpha,\beta)=max_{\alpha\geq0,\beta}min_wL(w,\alpha,\beta)$
一般来说，对偶问题的解小于等于原始问题的解，即$d^*\leq p^*$
如果想将原始问题转化为对偶问题来解，也就是要证明在什么情况下$d^*=p^*$

1. 
   
2. 假设$f$为凸函数
3. 假设$h_i(w)$是仿射函数（仿射函数是指自变量最高次数为1的多项式函数）
4. 存在$w$，对于所有的$i$，$g_i(w)<0$
   

那么存在$w^*,\alpha^*,\beta^*$，使得：$\frac{\partial L(w^*,\alpha^*,\beta^*)}{\partial w}=0$，$\frac{\partial L(w^*,\alpha^*,\beta^*)}{\partial \beta}=0$
其中$w^*$是原始问题的解，$\alpha^*,\beta^*$是拉格朗日乘数，是对偶问题的解
KKT互补条件：
$\alpha_i^*g_i(w)=0$，$g_i(w^*)\leq0$，$\alpha_i^*\geq0$
如果$\alpha_i^*>0\Rightarrow g_i(w^*)=0$，通常有$\alpha_i^*\neq0\Rightarrow g_i(w^*)=0$
对偶问题可以参考下面这篇文章
http://blog.csdn.net/x3886321/article/details/19128441

SVM的最优间隔分类器

拉格朗日常数$\alpha_i,\beta_i$变成$\alpha_i$，参数$w$变成$w_,b$
目标函数定义为：
$\min\frac{1}{2}(\mid w\mid)^2$，$s.t.　y^i(w^Tx^i+b)\geq1$
$g_i(w,b)=-y^i(w^Tx^i+b)+1\leq0$，$\alpha_i>0$$\Rightarrow$$g_i(w,b)=0$$\Rightarrow$$y^i(w^Tx^i+b)=1$
我们将函数间隔为1的样本称为支持向量，这也就是支持向量机的来源。
拉格朗日算子：
$L(w,b,\alpha)=\frac{1}{2}\mid w\mid^2-\sum_i(y^i(w^Tx^i+b)-1)$
定义：
$\theta_D(\alpha)=min_{w,b}L(w,b,\alpha)$
$\frac{\partial L(w,b,\alpha)}{\partial \alpha}=w-\sum_i\alpha_ix^iy^i=0$$\Rightarrow$$w=\sum_i\alpha_ix^iy^i$
$\frac{\partial L(w,b,\alpha)}{\partial b}=\sum_i\alpha_iy^i=0$
$L(w,b,\alpha)=\frac{1}{2}\mid w\mid\mid w\mid^T-\sum_i\alpha_i(y^i(w^Tx^i+b)-1)$
$=\frac{1}{2}\sum_i\sum_j\alpha_i\alpha_jy^iy^j<x^i,x^j>-\sum_i\sum_j\alpha_i\alpha_jy^iy^j<x^i,x^j>+\sum_i\alpha_i$
$＝\sum_i\alpha_i-\frac{1}{2}\sum_i\sum_j\alpha_i\alpha_jy^iy^j<x^i,x^j>＝W(\alpha)$
对偶问题：
$\max_\alpha W(\alpha)$，$s.t.$　$\alpha_i\geq0$，$\sum_iy^i\alpha_i=0$
所以目标函数为：
$h_{w,b}(x)=g(w^Tx+b)=g(\sum_i\alpha_iy^i<x^i,x>+b)$
这样，我们就把转化变量变为了α，然后通过上面ω与α的关系便可以求出ω，ω求出来后，b也可以很容易的得到为：
$b=-\frac{\min_{i,y^i=1}w^Tx^i+\max_{i,y^i=-1}w^Tx^i}{2}$
具体的原理可以参考这篇文章http://blog.csdn.net/z_x_1996/article/details/72763904