SVM

SVM

Suppot Vector Machine
支持向量机有三宝，间隔，对偶，核技巧
简而言之，SVM是一个二分类问题模型，总而言之，SVM就是找到一个超平面$w^{T}x+b$，使得正类$w^{T}x+b>0$，相反，负类$w^{T}x+b<0$。本质是一个最大间隔分类器。
{ ( x i , y i ) } , x i ∈ R , y i ∈ { − 1 , 1 } {\lbrace(x_i,y_i)\rbrace}, x_i \in R ,y_i\in {\lbrace-1,1\rbrace} {(xi​,yi​)},xi​∈R,yi​∈{−1,1}

我们首先定义距离distance，假设一个样本点$(x_i,y_i)$距离超平面$w^{T}x+b$的距离定义为$distance=\frac{1}{||w||}|w^T{x}_i+b|$,
然后间隔就是 m a r g i n ( w , b ) = min ⁡ w , b , x i { d i s t a n c e ( w , b , x i ) } margin(w,b) = \min_{w,b,x_i}\lbrace distance(w,b,x_i) \rbrace margin(w,b)=minw,b,xi​​{distance(w,b,xi​)}

硬间隔SVM

总的而言：
$$w^{T}x+b>0,y_i=+1$$
$$w^{T}x+b<0,y_i=-1$$
上面的两个式子可以转换成一个
$$y_i(w^T{x}_i+b)>0,\forall i=1...N$$
$$margin(w,b)=\underset{w,b,x_i}{\min }\frac{1}{||w||}|w^T{x}_i+b|$$
最大间隔:
$$\underset{w,b}{\max }\underset{x_i}{\min }\frac{1}{||w||}|w^T{x}_i+b|,st\forall i=1...N,y_i(w^T{x}_i+b)>0$$
$$\underset{w,b}{\max }\underset{x_i}{\min }\frac{1}{||w||}|w^T{x}_i+b|=\underset{w,b}{\max }\underset{x_i}{\min }\frac{1}{||w||}{y}_i(x^T{x}_i+b)=\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }{y}_i(w^T{x}_i+b)$$
$$\exists \gamma >0,st\underset{x_i,y_i}{\min }{y}_i(w^T{x}_i+b)=\gamma$$
$\gamma =1$则：
$$\underset{w,b}{\max }\frac{1}{||w||}\underset{x_i}{\min }{y}_i(w^T{x}_i+b)=\underset{w,b}{\max }\frac{1}{||w||}$$
这样就转化成为了一个凸优化问题
$$\forall i=1..N,st{y}_i(w^T{x}_i+b)>=1,\underset{w,b}{\min }\frac{1}{2}{w}^{T}w$$
拉格朗日乘子法
$$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i[1-y_i(w^T{x}_i+b)]$$
转化为无参约束问题的解释：
$$if1-y_i(w^T{x}_i+b)>0,\underset{\lambda }{\max }\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\infty =\infty$$
$$if1-y_i(w^T{x}_i+b)<=0,\underset{\lambda }{\max }\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+0=\frac{1}{2}{w}^{T}w$$
满足kkt条件，将凸优化问题转换成为一个无参数约束问题：
$${\lambda }_i>=0,\underset{w,b}{\min }\underset{\lambda }{\max }\mathcal{L}(w,b,\lambda )$$
转化为对偶问题
$${\lambda }_i>=0,\underset{\lambda }{\max }\underset{w,b}{\min }\mathcal{L}(w,b,\lambda )$$
接下来就是计算${\min }_{w,b}\mathcal{L}(w,b,\lambda )$问题
$$\frac{\partial \mathcal{L}}{\partial b}=-\sum _{i=1}^N{\lambda }_i{y}_i=0$$
将上述计算结果带入$\mathcal{L}(w,b,\lambda )$
$$\mathcal{L}(w,b,\lambda )=\frac{1}{2}{w}^{T}w+\sum _{i=1}^N{\lambda }_i-\sum _{i=1}^N{\lambda }_i{y}_i{w}^T{x}_i$$
$$\frac{\partial \mathcal{L}}{\partial w}=1/2\ast 2w-\sum _{i=1}^N{\lambda }_i{y}_i{x}_i=0=>w=\sum _{i=1}^N{\lambda }_i{y}_i{x}_i$$
$$\mathcal{L}(w,b,\lambda )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x_i}^T{x}_j+\sum _{i=1}^N{\lambda }_i$$
原问题转化成为
$${\lambda }_i>=0,\underset{\lambda }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x_i}^T{x}_j+\sum _{i=1}^N{\lambda }_i$$
$${\lambda }_i>=0,\underset{\lambda }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x_i}^T{x}_j+\sum _{i=1}^N{\lambda }_i$$
强对偶关系需要满足KKT条件：
KKT
$$\frac{\partial \mathcal{L}}{\partial w}=0,\frac{\partial \mathcal{L}}{\partial b}=0,\frac{\partial \mathcal{L}}{\partial \lambda }=0,$$
$${\lambda }_i(1-y_i(w^T{x}_i+b))=0$$
$${\lambda }_i>=0$$
$$1-y_i(w^T{x}_i+b)<=0$$
根据kkt条件求得：
$$w\ast =\sum _{i=0}^N{\lambda }_i{y}_i{x}_i$$
$$b\ast =y_k-\sum _{i=0}^N{\lambda }_i{y}_i{x_i}^T{x}_k$$
判别面的方程为：
$$w{\ast }^{T}x+b\ast$$

软间隔SVM

硬间隔SVM默认数据是可分的，但是，数据有时候往往是不可分的，或者是存在噪声点，这时候就引入软间隔SVM，加上一个loss(距离)
$$\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+loss$$
$$if{y}_i(w^T{x}_i+b)>=1,loss=0$$
$$if{y}_i(w^T{x}_i+b)<1,loss=1-y_i(w^T{x}_i+b)$$
conclude
l o s s = m a x { 0 , 1 − y i ( w T x i + b ) } loss = max\lbrace 0,1-y_i(w^Tx_i+b)\rbrace loss=max{0,1−yi​(wTxi​+b)}
优化函数就变成（C是参数，需要自己调整）
min ⁡ w , b 1 2 w T w + C ∑ i = 1 N m a x { 0 , 1 − y i ( w T x i + b ) } \min_{w,b} \frac{1}{2}w^Tw +C \sum_{i=1}^Nmax\lbrace 0,1-y_i(w^Tx_i+b)\rbrace w,bmin​21​wTw+Ci=1∑N​max{0,1−yi​(wTxi​+b)}
令${\xi }_i=1-y_i(w^T{x}_i+b)$
得
$$y_i(w^T{x}_i+b)>=1-{\xi }_i,\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+C\sum _{i=1}^N{\xi }_i$$

约束优化问题

弱对偶关系

对偶关系

kkt条件