西瓜书第6章之SVM_1

代码

SVM基本形式

$d=|x-x_1|\cos (\theta )=|x-x_1|\frac{|(x-x_1)w|}{|x-x_1||w|}=\frac{|wx-w{x}_1|}{|w|}=\frac{|wx+b|}{|w|}$
$L=\frac{1}{|w|}|wx+b|$
去绝对值
$L=\frac{1}{|w|}{\sum }_{n=1}^N{y}_n(w{x}_n+b)$

令$y_n(w{x}_n+b)=1$,则原式可变为$$L=ma{x}_{w,b}mi{n}_n\frac{1}{|w|}$$ $$s.t.y_n(w{x}_n+b)=1$$

变化为求最小值：$$L=mi{n}_{w,b}ma{x}_n\frac{1}{2}{w}^{T}w$$ $$s.t.y_n(w{x}_n+b)=1$$
那么这个就是SVM的基本形式，即取最近的点距离最大。

拉格朗日乘子式

使用拉格朗日乘子式好处：1、对偶问题更容易求解。2、引入核函数(下面式子的x替换为z代表核变化)。

h表示约束函数，f表示优化函数。
h在A处的梯度与f在A处的梯度并不一致，所以A并非是最优解。因为h在A处的梯度除了与f在A处的梯度一致的分量外，还有一个向B运动的分量，然后沿此方向继续寻找最优解。当到达B处时，发现h与f在B处的梯度方向是一致的，那么B就是最优解。也就存在$\lambda h(x)+f(x)=0(\lambda !=0，最优解处求导为0)$。因此定义拉格朗日函数为$$L=f(x)+\lambda h(x)$$
已知h(x)<=0。
当h(x)<0时，那么最优解在f(x)最中心处，等价于$\lambda$=0可以使用梯度下降等方法求出最优解。
当h(x)=0时，因为h(x)与f(x)的梯度方向相反，就存在$\lambda$>0，使得$\lambda h(x)+f(x)=0$。
对以上两步总结为$\lambda h(x)=0$
$$KKT\{\begin{array}{l}h(x)\le 0\\ \lambda \ge 0\\ \lambda h(x)=0\end{array}$$
以上便是拉格朗日乘子式的过程。

对偶

$$L=mi{n}_{w,b}ma{x}_n\frac{1}{2}{w}^{T}w$$ $$s.t.y_n(w{x}_n+b)=1$$

因为最大数值中最小的那个值是大于等于最小数值中最大的那个值，即

$$mi{n}_{w,b}ma{x}_{n}L\ge ma{x}_{n}mi{n}_{w,b}L$$

因此SVM的优化函数可表达为$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}\frac{1}{2}{w}^{T}w$$ $$s.t.y_n(w{x}_n+b)=1$$

根据拉格朗日乘子式可得：
$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}\frac{1}{2}{w}^{T}w+\sum _{n=1}^N{\lambda }_n(1-y_n(w^T{z}_n+b))(式1)$$
$$s.t.\{\begin{array}{l}{\lambda }_n\ge 0\\ 1-y_n(w^T{z}_n+b)\le 0\\ {\lambda }_n(1-y_n(w^{T}z+b))=0\end{array}$$
$$\frac{\partial L}{\partial b}=\sum _{n=1}^N{\lambda }_n{y}_n=0(式2)$$
将式2带入式1中得：
$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}\frac{1}{2}{w}^{T}w+\sum _{n=1}^N{\lambda }_n(1-y_n(w^T{z}_n))(式2)$$

$$\frac{\partial L}{\partial w}=w-\sum _{n=1}^N{\lambda }_n{y}_n{z}_n=0(式3)$$
将式3带入式1中得：
$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^M{\lambda }_n{\lambda }_m{y}_n{y}_m{z}_n{z}_m+\sum _{n=1}^N{\lambda }_n$$
即:
$$L=ma{x}_{{\lambda }_n}-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^M{\lambda }_n{\lambda }_m{y}_n{y}_m{z}_n{z}_m+\sum _{n=1}^N{\lambda }_n$$
转换成最小化得:
$$L=mi{n}_{{\lambda }_n}-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^M{\lambda }_n{\lambda }_m{y}_n{y}_m{z}_n{z}_m+\sum _{n=1}^N{\lambda }_n$$
$$s.t.\{\begin{array}{l}{\lambda }_n\ge 0\\ 1-y_n(w^T{z}_n+b)\le 0\\ {\lambda }_n(1-y_n(w^T{z}_n+b))=0\\ {\sum }_{n=1}^N{\lambda }_n{y}_n=0(对b求导得到)\\ w={\sum }_{n=1}^N{\lambda }_n{y}_n{z}_n(对w求导得到)\end{array}$$
当${\lambda }_n=0时$，根据${\lambda }_n(1-y_n(w^T{z}_n+b))=0$可得到$1-y_n(w^T{z}_n+b)̸=0$，而又因为$1-y_n(w^T{z}_n+b)\le 0$，所以$1-y_n(w^T{z}_n+b)<0$，即该点到分类超平面距离小于1。

当${\lambda }_n>0$时，根据${\lambda }_n(1-y_n(w^T{z}_n+b))=0$推出$1=y_n(w^T{z}_n+b)$，那么这个点就是支持向量点。

软间隔(避免过拟合)

增加一个$\zeta$代表犯错程度。当$\zeta$=0时，没有犯错。
那么优化函数可以表达成：
$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}\frac{1}{2}{w}^{T}w+C\sum _{n=1}^N{\zeta }_n$$
$$s.t.\{\begin{array}{l}{\zeta }_n\ge 0\\ y_n(w^T{z}_n+b)\ge 1-{\zeta }_n\end{array}$$
使用拉格朗日乘子式:
$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}\frac{1}{2}{w}^{T}w+C\sum _{n=1}^N{\zeta }_n-\sum _{n=1}^N{\lambda }_n(1-{\zeta }_n-y_n(w^T{z}_n+b))+\sum _{n=1}^N{\beta }_n(-{\zeta }_n)(式4)$$

$$\frac{\partial L}{\partial {\zeta }_n}=0=C-{\lambda }_n-{\beta }_n$$
推出：
$$C-{\lambda }_n={\beta }_n\ge 0(式5)$$
因此：
$$0\le {\lambda }_n\le C$$
将式5带入式4中得：
$$L=ma{x}_{{\lambda }_n}mi{n}_{w,b}\frac{1}{2}{w}^{T}w-\sum _{n=1}^N{\lambda }_n(1-y_n(w^T{z}_n+b))(式6)$$
与式1一致。
同样的式6分别对w和b求导，得到
$$\begin{gathered} \sum _{n=1}^N{\lambda }_n{y}_n=0 \\ w=\sum _{n=1}^N{\lambda }_n{y}_n{z}_n \end{gathered}$$
代入到式6中得到：
$$L=mi{n}_{{\lambda }_n}\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^M{\lambda }_n{\lambda }_m{y}_n{y}_m{z}_n{z}_m-\sum _{n=1}^N{\lambda }_n$$
$$s.t.\{\begin{array}{l}0\le {\lambda }_n\le C\\ y_n(w^T{z}_n+b)\ge 1-{\zeta }_n\\ {\lambda }_n(1-{\zeta }_n-y_n(w^T{z}_n+b))=0\\ {\sum }_{n=1}^N{\lambda }_n{y}_n=0\\ w={\sum }_{n=1}^N{\lambda }_n{y}_n{z}_n\\ {\beta }_n(-{\zeta }_n)=(C-{\lambda }_n){\zeta }_n=0\end{array}$$
求解w和b：
$$w=\sum _{n=1}^N{\lambda }_n{y}_n{z}_n$$
当$0\le {\lambda }_n\le C$即支持向量，那么因为$(C-{\lambda }_n){\zeta }_n=0$，所以推出${\zeta }_n$=0。对${\lambda }_n(1-{\zeta }_n-y_n(w^{T}z+b))=0$推出$y_n(w^T{z}_n+b)=1$。这个点就是支持向量点，并且$y_i^2=1$。得出

$$b=y_s-w^T{z}_s=y_s-(\sum _{n=1}^N{\lambda }_n{y}_n{z}_n{)}^T{z}_s$$
其中s表示支持向量点。
当${\lambda }_n=C$时，根据$(C-{\lambda }_n){\zeta }_n=0$推出${\zeta }_n̸=0$，且又因为${\lambda }_n(1-{\zeta }_n-y_n(w^T{z}_n+b))=0$，得出$1-{\zeta }_n-y_n(w^T{z}_n+b)=0$，所以得到$y_n(w^T{z}_n+b)=1-{\zeta }_n\le 1$。表示错误点，与分类超平面距离小于1。

当${\lambda }_n=0$时，根据$(C-{\lambda }_n){\zeta }_n=0$，推出${\zeta }_n=0$，又因为$y_n(w^T{z}_n+b)\ge 1-{\zeta }_n$。所以可得分类正确，与分类超平面距离大于等于1。

未完待续。