国科大prml--SVM

• 拉格朗日的原始问题是$mi{n}_{w,b}ma{x}_{\lambda }L$
• 对偶问题是$ma{x}_{\lambda }mi{n}_{w,b}L$

	原问题	拉格朗日	对偶问题	分界面	最终参数
hard margin	$mi{n}_w\frac{1}{2}\Vert w{\Vert }^2$约束$y^i(w^T{x}^i)>=1,对任意i$	$L({\lambda }_i,w,b)={\Sigma }_{i=1}^N{\lambda }_i(1-y^i(w^T{x}^i+b){)}_{+}+\frac{1}{2}\Vert w{\Vert }^2$	$ma{x}_{\lambda }{\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_j(x^i{)}^T{x}^j$约束：${\lambda }_i>=0;{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$	$b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j=0$	$w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i;b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j$
soft	$mi{n}_w\frac{1}{2}\Vert w{\Vert }^2+C{\Sigma }_{i=1}^n{\xi }_i$约束$y^i(w^T{x}^i)>=1-{\xi }_i,{\xi }_i\ge 0,对任意i$	$L({\lambda }_i,{\eta }_i,\xi ,w,b)={\Sigma }_{i=1}^N{\lambda }_i(1-y^i(w^T{x}^i+b)-{\xi }_i)-{\Sigma }_{i=1}^n{\eta }_i{\xi }_i+\frac{1}{2}\Vert w{\Vert }^2$	$ma{x}_{\lambda }{\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_j(x^i{)}^T{x}^j$ 约束：$0\le {\lambda }_i\le C={\lambda }_i+{\eta }_i({\eta }_i>=0);{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$	$b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j=0$	$w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i;b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j$
kernel	-	-	${\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_{j}K(x^i,x^j)$约束：${\lambda }_i>=0;{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$	$$\begin{gathered} w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i \\ b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^{i}K(x^i,x^j) \end{gathered}$$

hard margin

• 原问题
  • $mi{n}_w\frac{1}{2}||w|{|}^2$
  • 约束$y^i(w^T{x}^i)>=1,对任意i$
  • 拉格朗日：
    • $L({\lambda }_i,w,b)={\Sigma }_{i=1}^N{\lambda }_i(1-y^i(w^T{x}^i+b){)}_{+}+\frac{1}{2}||w|{|}^2$(拉格朗日问题)
  • 损失函数
    • ${\Sigma }_{i=1}^{N}i(1-y^i(w^T{x}^i+b){)}_{+}+\lambda ||w|{|}^2$
  • 目标函数（hinge loss function)
    • $(1-y^i(w^T{x}^i+b){)}_{+}$
• 得到对偶形式：
  • ${\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_j(x^i{)}^T{x}^j$
  • 约束：${\lambda }_i>=0;{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
  • 时间复杂度$O(N^3)$
  • 空间复杂度$O(N^2)$
• 最终结果
  • $w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i$
  • $b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j$
  • 所以分离超平面为：$b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j=0$
  • 决策函数：$f_{w,b}=sign(b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j)$
• 转化为对偶问题会简单化（原问题复杂度高）
  • 拉格朗日的原始问题是$mi{n}_{w,b}ma{x}_{\lambda }L$
  • 对偶问题是$ma{x}_{\lambda }mi{n}_{w,b}L$
    • 对偶问题：
    • 消去w/b${\theta }_D(w)=mi{n}_{w,b}L$
      • 求梯度
        • $\frac{\partial L}{\partial w}=w-{\Sigma }_{i=1}^n{\lambda }_i{y}^i{x}^i=0$
          • $w={\Sigma }_{i=1}^n{\lambda }_i{y}^i{x}^i$
        • $\frac{\partial L}{\partial b}=-{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
          • ${\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
      • 结果带入L–得到对偶问题
        • ${\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_j(x^i{)}^T{x}^j$
        • 约束：${\lambda }_i>=0;{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
    • 再求最大$d^{\ast }<--ma{x}_{\lambda }{\theta }_D(w)$
      • 由新的对偶问题求极值点，得到最优解$\lambda* $
        • 由此可以找到$w\ast ,b\ast$
        • $w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i$
        • $b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j$
        • 所以分离超平面为：$b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^{T}x=0$
        • 决策函数：$f_{w,b}(x)=sign(b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^{T}x)$
        • 可以看出
          1. 只受到支持向量的影响（其他的$\lambda =0$
          2. 正样本y=1,负样本y=-1,正样本对w起正向作用，负样本起负向作用

soft margin

• 问题描述
  • $mi{n}_w\frac{1}{2}||w|{|}^2+C{\Sigma }_{i=1}^n{\xi }_i$
  • 约束$y^i(w^T{x}^i)>=1-{\xi }_i,{\xi }_i\ge 0,对任意i$
  • 凸函数的QP问题
  • 对应拉格朗日函数：
    • $L({\lambda }_i,{\eta }_i,\xi ,w,b)={\Sigma }_{i=1}^N{\lambda }_i(1-y^i(w^T{x}^i+b)-{\xi }_i)-{\Sigma }_{i=1}^n{\eta }_i{\xi }_i+\frac{1}{2}||w|{|}^2$
• 得到对偶形式：
  • $max{\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_j(x^i{)}^T{x}^j$
  • 约束：$0\le {\lambda }_i\le C={\lambda }_i+{\eta }_i({\eta }_i>=0);{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
  • 原来${\lambda }_i$可以无限大，因为线性可分
  • C–容忍度是有限的，对应了${\lambda }_i$–C越大越苛刻，margin越小，容忍度越小

    • C的三种理解方式

      • 容忍度
        • 在中间范围内也算是分错了的点
        • C-会有多少个分错的点，C大容忍度小
      • 对$\xi$的惩罚，C越大，惩罚越大，越苛刻
      • $C=\frac{1}{2\lambda },与\lambda 是相反的，\lambda 大，希望模型不要太复杂，也就是C小的情况$

    • 回忆KKT

      • ${\lambda }_i\ast f_i(w\ast )=0and{\eta }_i\ast {\xi }_i=0$
      • ${\lambda }_i\ast =0==>y^i(b\ast +w{\ast }^T{x}^i)>1,在正确的地方$
        • ${\lambda }_i\ast =0==>{\eta }_i\ast =C>0==>\xi =0==>y^i(b\ast +w{\ast }^T{x}^i)>1-\xi =1,在正确的地方$
      • $0<{\lambda }_i\ast <C==>y^i(b\ast +w{\ast }^T{x}^i)=1,在边界上---支持向量$
        • ${\lambda }_i\ast >0==>{\eta }_i\ast =C-{\lambda }_i\ast >0==>\xi =0==>y^i(b\ast +w{\ast }^T{x}^i)=1-\xi =1,在正确的地方$
      • ${\lambda }_i\ast =C>0,{\eta }_i=0==>\xi >0==>y^i(b\ast +w{\ast }^T{x}^i)=1-\xi <=1在错误的地方$
• 最终结果
  • $w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i$
  • $b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j$
  • 所以分离超平面为：$b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j=0$
  • 决策函数：$f_{w,b}=sign(b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^i(x^i{)}^T{x}^j)$

kernel SVM

• 得到对偶形式：

  • ${\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_{j}K(x^i,x^j)$
  • 约束：${\lambda }_i>=0;{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
    • $w\ast ={\Sigma }_{i=1}^n{\lambda }_i\ast y^i{x}^i$
    • $b\ast =y^j-{\Sigma }_{i=1}^n{\lambda }_i\ast y^{i}K(x^i,x^j)$
    • 所以分离超平面为：$b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^{i}K(x^i,x)=0$
    • 决策函数：$f_{w,b}(x)=w{\ast }^T\varphi (x)+b\ast =sign(b\ast +{\Sigma }_{i=1}^n{\lambda }_i\ast y^{i}K(x^i,x)）$

• 常见几种核
  1. hillbert space：可以再生任意函数（最重要的）
  * $$\begin{gathered} \varphi (x)=K(\cdot ,x) \\ K(x,z)=K(\cdot ,x)\cdot K(\cdot ,z)=\varphi (x{)}^T\varphi (z) \\ 再生性：f(\cdot )={\Sigma }_{i=1}^m{\alpha }_{i}K(\cdot ,x^i) \\ f(\cdot )K(\cdot ,x)={\Sigma }_{i=1}^m{\alpha }_{i}K(x,x^i)=f(x)，都是这个空间的两个函数 \end{gathered}$$
  2. 多项式核$K(x,z)=(x^{T}z+1{)}^p$
  3. 高斯核： K ( x , z ) = e x p { − ∥ x − z ∥ 2 2 σ 2 } K(x,z)=exp\{-\frac{\|x-z\|^2}{2\sigma^2}\} K(x,z)=exp{−2σ2∥x−z∥2​}–radial basis function(RBF)
  * K ( x , z ) = e x p { − d i s t ( x , z ) 2 σ 2 } K(x,z)=exp\{-\frac{dist(x,z)}{2\sigma^2}\} K(x,z)=exp{−2σ2dist(x,z)​}
  * f ( x ) = s i g n ( Σ i = 1 n α i ∗ y i e x p { − ∥ x − z ∥ 2 2 σ 2 } + b ∗ ) f(x)=sign(\Sigma_{i=1}^n\alpha_i^*y^iexp\{-\frac{\|x-z\|^2}{2\sigma^2}\}+b^*) f(x)=sign(Σi=1n​αi∗​yiexp{−2σ2∥x−z∥2​}+b∗)
  4. Sigmoid kernel：$K(x,x^{\prime })=tanh(2x^T{x}^{\prime }+1)$

4.SMO–可以快速求解svm

• 用对偶形式
• 得到对偶形式：
  • ${\theta }_D(\lambda )={\Sigma }_{i=1}^n{\lambda }_i-\frac{1}{2}{\Sigma }_{i,j=1}^n{y}^i{y}^j{\lambda }_i{\lambda }_j(x^i{)}^T{x}^j$
  • 约束：${\lambda }_i>=0;{\Sigma }_{i=1}^n{\lambda }_i{y}^i=0$
• Coordinate Ascent:每一次仅对一个${\lambda }_i$求最大，从i=1,2,…,n
  • 可以直接用在svm上吗？
    • 不可以，$\lambda$之间是线性相关的。
  • 改进：每次对一对，其他n-2个固定，求最大。
• SMO
  • 每次对一对，其他n-2个固定：${\lambda }_1{y}^1+{\lambda }_2{y}^2=-{\Sigma }_{i=3}^N{\alpha }_i{y}^i=C$
    • ${\lambda }_1=(C-{\lambda }_2{y}^2)y^1$
    • $L((C-{\lambda }_2{y}^2)y^1,{\lambda }_2,...,{\lambda }_N），先忽略约束求导，得到{\lambda }_2^{new,unclipped}，再加上约束$
    • $用{\lambda }_2更新{\lambda }_1:{\lambda }_1^{new}={\lambda }_1^{old}({\lambda }_2^{old}-{\lambda }_2^{new})y^2{y}^1$
  • 从那一对开始呢？
    • 最优的$\lambda$肯定是满足KKT条件的
      • ${\lambda }_i=0<==>y^{i}g(x^i)>=1$
      • $0<{\lambda }_i<C<==>y^{i}g(x^i)=1$
      • ${\lambda }_i=C<==>y^{i}g(x^i)<=1$
        • $g(x_i)={\Sigma }_{j=1}^N{\alpha }_j{y}^{j}K(x^i,x^j)+b$
    • 每次选择违背KKT条件最大的
      • 从$0<{\lambda }_i<C$的开始，违背最多的选择一个
      • 第二个有固定准则来选：E1-E2
        • $E_i=g(x^i)-y^i$