C_SVC推导(经典的SVM模型)

C_SVC推导

1. 模型假设

假设现在有训练数据$X$，是$m*n$的矩阵，$m$是样本数量，$n$是样本向量的维数，记样本中第$i$个样本为$x^{(i)}$,标签为$y^{(i)}$,$y\in\{+1,-1\}$
现在考虑二分类问题，样本的标签为$\vec{y}$，是$m*1$的向量。
目的，找到一个最优的相关面，以方程$\vec{w}*\vec{x}+b=0$表示，其中$\vec{w}$是一个$n*1$维向量，按照线性代数的记号，记为：
$w^Tx+b=0$
$|w^Tx^{(i)}+b|$为第$i$个点到分离面的距离，$\hat{\gamma}^{(i)}= y^{(i)}(w^Tx^{(i)}+b)$,为函数间隔，对于所有的样本$\hat{\gamma}^{(i)}>=0$，因为$y^{(i)}$和$w^Tx^{(i)}+b$符号相同，找到这样一个分离面，使得所有样本到分离面的距离最大，即是任务所在。
为了归一化表示，因为$w$和$b$的成比例变化，并不影响分离面的位置，因此要归一化。$\gamma^{(i)}= y^{(i)}(\frac{w^T}{||w||}x^{(i)}+\frac{b}{||w||})$记为几何间隔。
几何间隔的最小值为
$\gamma=min_w\gamma^{(i)}$

2. 优化问题

任务为，找到最优的$w$使得最下的几何间隔最大:
$\begin{matrix} & max_w & \gamma \ &s.t. & y^{(i)}(w^Tx^{(i)}+b)&>=\gamma \end{matrix}$
等价于
$\begin{matrix} & max_w & \dfrac{\hat{\gamma}}{||w||} \ &s.t. & y^{(i)}(\frac{w^T}{||w||}x^{(i)}+\frac{b}{||w||})&>=\frac{\gamma}{||w||} \end{matrix}$
即

$$\begin{matrix} & max_w & \dfrac{\hat{\gamma}}{||w||} \\ &s.t. & y^{(i)}(w^Tx^{(i)}+b)&>=\hat{\gamma} \end{matrix}$$
令 $\hat{\gamma}=1$且最大化 $\dfrac{1}{||w||}$等价于最小化 $\frac{1}{2}{||w||}^2$
最终，优化问题化为：

$\begin{matrix} & min_w & \frac{1}{2}{||w||}^2 \ & s.t. & y^{(i)}(w^Tx^{(i)}+b)&>=1 \end{matrix}$

3. 软间隔

样本有可能不会完全能硬性区分，存在噪点，在正负样本之间相互渗透，要允许软性区分。利用正则化，放松一个点到分离面的距离的约束，即函数间隔$\hat{\gamma}=y^{(i)}(w^Tx^{(i)}+b)>=1-\xi^{(i)}$,但是每放松一个$\xi^{(i)}$就要支付一个代价$C\xi^{(i)}$,则优化函数变成
$\begin{matrix} & min_w & \frac{1}{2}{||w||}^2+C\sum_{i=1}^{m}\xi^{(i)} \ & s.t. & y^{(i)}(w^Tx^{(i)}+b)>=1-\xi^{(i)}\ &&\xi^{(i)}>=0 \end{matrix}$

4. 拉格朗日对偶和KKT条件

4.1 导出对偶形式

假设有如下问题
$\begin{matrix} & min_w & f(w) \ & s.t. & g_i(w)<=0\ & &h_i(w)=0 \end{matrix}$
有一组$\alpha>=0,\beta>=0$，组成拉格朗日函数形式
$L(w,\alpha,\beta)=f(w)+\sum_{i=1}^{m}\alpha_ig_i(w)+\sum_{i=1}^{m}\beta_ih_i(w)$
在满足原问题的约束条件下，有
$f(w)=max_{\alpha,\beta}L(w,\alpha,\beta)$
原问题化为
$min_w max_{\alpha,\beta}L(w,\alpha,\beta)$
注意$w$和$\alpha,\beta$的位置和顺序

考虑对偶问题$min_w L(w,\alpha,\beta)<=L(w,\alpha,\beta)$
而原等价问题中$max_{\alpha,\beta}L(w,\alpha,\beta)>=L(w,\alpha,\beta)$
得
$d^*=max_{\alpha,\beta}min_w L(w,\alpha,\beta)<=min_w max_{\alpha,\beta}L(w,\alpha,\beta)=p^*$
即对偶问题恒小于等于原问题
可以看出，在某些条件下是可以取等号的

4.2 kkt的必要性证明

假设现在有最优解使得$d^*=p^*,(w=w^*,\alpha=\alpha^*,\beta=\beta^*)$,拉格朗日函数恒为凸函数，即最优解定在原空间导数为零的位置取得。
有：

$$\begin{matrix} f(w^*)=min_w L(w,\alpha^*,\beta^*) &=&min_w f(w)+\sum_{i=1}^{m}\alpha^*_ig_i(w)+\sum_{i=1}^{m}\beta^*_ih_i(w)\\ &<=&f(w^*)+\sum_{i=1}^{m}\alpha^*_ig_i(w^*)+\sum_{i=1}^{m}\beta^*_ih_i(w^*)\\ &<=&f(w^*) \end{matrix}$$
则不等式取等号，由倒数第二行有：
$$\begin{matrix} \nabla_w f(w^*)=0 &(稳定性条件，stationarity)\\ \alpha^*_ig_i(w^*)=0 &(对偶互补条件，complementary slackness)\\ g_i(w*)<=0 &(原问题约束，primal feasibility)\\ \alpha_i>=0 &(对偶问题约束，dual feasibility)\end{matrix}$$
对偶互补条件是由于 $g_i(w*)<=0$且 $\alpha_i>=0$且 $\sum\alpha^*_ig_i(w^*)=0$,由于每一项都小于等于0，要取得和等于零，只能是每一项都等于0.

4.3 kkt的充分性证明

假设现在有$(w=w^*,\alpha=\alpha^*,\beta=\beta^*)$满足kkt条件：
有:

$$\begin{matrix} &f(w^*)&=&f(w^*)+\sum_{i=1}^{m}\alpha^*_ig_i(w^*)+\sum_{i=1}^{m}\beta^*_ih_i(w^*)\\ &&=&min_wL(w^*,\alpha^*,\beta^*) \end{matrix}$$
那么， $d^*=max_{\alpha,\beta}min_w L(w,\alpha,\beta)=max_{\alpha,\beta}f(w^*)=min_w f(w)=p^*$

5.软间隔的对偶表达

含有软间隔的问题为：
$\begin{matrix} & min_w & \frac{1}{2}{||w||}^2+C\sum_{i=1}^{m}\xi^{(i)} \ & s.t. & y^{(i)}(w^Tx^{(i)}+b)>=1-\xi^{(i)}\ &&\xi^{(i)}>=0 \end{matrix}$
拉个朗日函数:

$$\begin{matrix} &L(w,\xi,\alpha,\beta)&\\ &=&\frac{1}{2}{||w||}^2+C\sum_{i=1}^{m}\xi^{(i)}+\sum_{i=1}^{m}\alpha^{(i)}\\ &&-\sum_{i=1}^{m}\alpha^{(i)}\xi^{(i)}-\sum_{i=1}^{m}\alpha^{(i)}y^{(i)}(w^Tx^{(i)}+b)-\mu^{(i)}\xi^{(i)} \end{matrix}$$
求kkt条件：
$\nabla_wL(w,\xi,\alpha,\beta)=w-\sum_{i=1}^{m}\alpha^{(i)}y^{(i)}x^{(i)}=0$
$\nabla_bL(w,\xi,\alpha,\beta)=-\sum_{i=1}^{m}\alpha^{(i)}y^{(i)}=0$
$\nabla_{\xi}L(w,\xi^{(i)},\alpha,\beta)=C-\alpha^{(i)}-\mu^{(i)}=0$
$\alpha^{(i)}(1-\xi^{(i)}-y^{(i)}(w^Tx^{(i)}+b))=0$
$\mu^{(i)}>=0$
$\alpha^{(i)}>=0$
以上的拉个朗日均不显示的写出 $b$,带入拉格朗日函数得：
$L(w,\xi,\alpha,\beta)=-\frac{1}{2}\sum_{i=0}^{m}\sum_{j=0}^{m}\alpha^{(i)}\alpha^{(j)}y^{(i)}y^{(j)}x^{(i)T}x^{(j)}+\sum_{i=1}^{m}\alpha^{(i)}$
优化问题就变成了：
$\begin{matrix} min_{\alpha}& \frac{1}{2}\sum_{i=0}^{m}\sum_{j=0}^{m}\alpha^{(i)}\alpha^{(j)}y^{(i)}y^{(j)}x^{(i)T}x^{(j)}-\sum_{i=1}^{m}\alpha^{(i)}\ s.t. &0<=\alpha^{(i)}<=C\ &\sum_{i=1}^{m}\alpha^{(i)}y^{(i)}=0 \end{matrix}$

上面的kkt条件中，$g(w)=1-\xi^{(i)}-y^{(i)}(w^Tx^{(i)}+b)$,表示点到分离面的最大函数间隔
由对偶互补条件$\alpha^{(i)}g^{(i)}(w)=0$，如果$\alpha^{(i)}>0$则$g^{(i)}(w)=0$,那么$\alpha^{(i)}$对应的点是支撑向量，应当保留下来。当$\alpha=0$时，则是否为支撑向量均已无意义，在求和中不影响，所以不必记录。

6. 核函数

核函数即选择函数$K(x,y)=\phi(x)^T\phi(y)$,其中$\phi(x)$为从$n$维空间到另一个空间的映射，核函数表示映射后的点积。核函数的引入是为了解决非线性分割的问题，径向基核如高斯核用泰勒展开理论上可以映射到无限维上去。
将核函数带入上面的待优化方程中，写为：
$\begin{matrix} min_{\alpha}& \frac{1}{2}\sum_{i=0}^{m}\sum_{j=0}^{m}\alpha^{(i)}\alpha^{(j)}y^{(i)}y^{(j)}K(x^{(i)},x^{(j)})-\sum_{i=1}^{m}\alpha^{(i)}\ s.t. &0<=\alpha^{(i)}<=C\ &\sum_{i=1}^{m}\alpha^{(i)}y^{(i)}=0 \end{matrix}$

7 经典SMO算法

将待优化的函数视为一个二元函数，假设现在要优化$\alpha^{(1)}$和$\alpha^{(2)}$，为了方便$\alpha$均用下标，可以写为：

$$\begin{matrix} min_{\alpha_1\alpha_2}& \psi(\alpha_1,\alpha_2)=\frac{1}{2}\alpha_1^2K_{11}+\frac{1}{2}\alpha_2^2K_{22}+\alpha_1\alpha_2y_1y_2K_{12}\\&-(\alpha_1+\alpha_2)+\alpha_1y_1v_1+\alpha_2y_2v_2+constant\\ s.t. &0<=\alpha_1<=C ,0<=\alpha_2<=C\\ &v_1=\sum_{i=3}^{m}\alpha_iy_iK_{1i},v_2=\sum_{i=3}^{m}\alpha_iy_iK_{2i}\\ &\alpha_1y_1+\alpha_2y_2=\zeta=-\sum_{i=3}^{m}\alpha_iy_i \end{matrix}$$
将 $\alpha_1=y_1(\zeta-\alpha_2y_2)$带入，注意 $y_i*y_i=1$
得 ：
$\psi(\alpha_2)=\frac{1}{2}(\zeta-y_2\alpha_2)^2K_{11}+\frac{1}{2}\alpha_2^2K_{22}+(\zeta-y_2\alpha_2)\alpha_2y_2K_{12}\ -(y_1\zeta-y_1y_2\alpha_2+\alpha_2)+(\zeta-\alpha_2y_2)v_1+\alpha_2y_2v_2$
求导得：
$\dfrac{\partial\psi}{\partial\alpha_2}=(K_{11}+K_{22}-2K_{12})\alpha-\\\zeta y_2K_{11}+\zeta y_2K_{12}+y_1y_2-1-y_2v_1+y_2v_2=0$
这里的 $\alpha_2$即是优化后的 $\alpha_2$,记为 $\alpha_2^{new}$
此时依照kkt条件，可以得出决策函数为 $f(x)=\sum_{i=1}^{m}\alpha_iy_iK(x_i,x)+b$
可得：
$v_1=f(x_1)-\alpha_1y_1K_{11}-\alpha_2y_2K_{12}-b\ v_2=f(x_2)-\alpha_1y_1K_{12}-\alpha_2y_2K_{22}-b$
定义 $E_i=f(x_i)-y_i$则
$E_1=f(x_1)-y_1$
$E_2=f(x_2)-y_2$
带入 $\dfrac{\partial\psi}{\partial\alpha_2}$
最后得：
$\alpha_2^{new}=\alpha_2^{old}+\dfrac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{22}}$
检查约束条件，当 $y_1=y_2,$有 $\alpha_1+\alpha_2=k,k=\pm\zeta$,
令 $\alpha_1=0$上截距 $H=min(C,\alpha_1+\alpha_2)$
令 $\alpha_1=C$下截距 $L=max(0,\alpha_1+\alpha_2-C)$
当 $y_1\ne y_2$有 $\alpha_1-\alpha_2=k,k=\pm\zeta$
令 $\alpha_1=0$上截距 $H=min(C,C+\alpha_2-\alpha_1)$
令 $\alpha_1=C$下截距 $L=max(0,\alpha_2-\alpha_1)$
此时对 $\alpha_2$进行截取
$$\alpha_2^{new}=\begin{cases} H&,\alpha_2^{new}>=C\\ \alpha_2^{new}&,0<\alpha_2^{new}<C\\ L&,\alpha_2^{new}<=0 \end{cases}$$
截取后得
由 $y_1\alpha_1^{new}+y_2\alpha_2^{new}=y_1\alpha_1^{old}+y_2\alpha_2^{old}=\zeta$
得 $\alpha_1^{new}=\alpha_1^{old}+y_1y_2(\alpha_2^{old}-\alpha_2^{new})$
更新完 $\alpha_1$和 $\alpha_2$之后，则需要更新 $b$,由于在原问题中，当$0<\alpha_i<C$时，该向量对应着支撑向量，此时不需要放松 $\xi_i=0$
因此有 $y_i(f(x))=1$，即 $y_j(\sum_{i=1}^{m}\alpha_iy_iK(x_i,x_j)+b)=1$
若j=1
$b=b_1^{new}=y_1-\sum_{i=3}^{m}y_i\alpha_iK_{i1}-\alpha_1y_1K_{11}-\alpha_2y_2K_{12}$
将 $E_1=\sum_{i=3}^{m}\alpha_iy_iK_{i1}+\alpha_1^{old}y_1K_{11}+\alpha_2^{old}y_2K_{12}+b^{old}-y_1$带入上式，得
$b=b_1^{new}=-E_1-y_1(\alpha_1^{new}-\alpha_1^{old})K_{11}-y_2(\alpha_2^{new}-\alpha_2^{old})K_{12}+b^{old}$
若j=2
$b=b_2^{new}=y_2-\sum_{i=3}^{m}\alpha_iK_{i2}-\alpha_1K_{12}-\alpha_2K_{22}$得
$b=b_2^{new}=-E_2-y_1(\alpha_1^{new}-\alpha_1^{old})K_{12}-y_2(\alpha_2^{new}-\alpha_2^{old})K_{22}+b^{old}$
若同时满足约束，则上面两式子相等，将 $\alpha_1$和 $\alpha_2$带入即可得
若都不满足约束，即都在边界上取得，Patt的原文说在 $b_1$和 $b_2$之间的数都满足kkt条件，故取 $\dfrac{b_1^{new}+b_2^{new}}{2}$，因为当
$\alpha_i=0$有kkt条件 $y_j(\sum_{i=1}^{m}\alpha_iy_iK(x_i,x_j)+b)>=1==>y_jE_j>=0$
$\alpha_i=C$有kkt条件 $y_j(\sum_{i=1}^{m}\alpha_iy_iK(x_i,x_j)+b)<=1==>y_jE_j<=0$,也可以用函数间隔来理解，当 $\alpha_i=0$时远离分离面，函数间隔大于等于1，当等于C的时候超过了分离面，函数间隔必然小于等于1.
证明方法，将 $\alpha_1^{new}$和 $\alpha_2^{new}$分别以 $\alpha_1^{old}-\lambda y_1\dfrac{E_1-E_2}{\eta}$和 $\alpha_2^{old}+\lambda y_2\dfrac{E_1-E_2}{\eta}$替代。 $\lambda\in[0,1)$表示剪辑后的系数,带入 $b^{new}=tb_1^{new}+(1-t)b_2^{new}$中，再联立 $b_1$, $b_2$的公式和更新 $E$的公式得：
$\begin{cases} E_1^{new}=(1-t)(1-\lambda)(E_1-E_2)\ E_2^{new}=-t(1-\lambda)(E_1-E_2) \end{cases}$
然后将 $\alpha_1$、 $\alpha_2$和 $y_1$、 $y_2$的各种情况代入讨论，最后都是满足KKT条件的