最优化方法(学习笔记)-第八章SVM&范数&SVD

支持向量机SVM

线性判别

最大分类间隔器

利用线性判别的性质，可以通过最大间隔来做分类【直线是超平面，两侧直线上的点是支持向量】

两平面间的距离计算公式

于是距离宽度是$dist=\frac{2a}{||w|{|}_2}\propto \frac{1}{||w|{|}_2}$
所以不妨令$a=1$

• 目标函数：$\max \frac{1}{||w|{|}_2}⟺\min \frac{||w|{|}_2^2}{2}$

• 约束条件：$f(x)=1-y_i(w^T{x}_i+b)$，标签y=1/-1

• 目的是寻找超平面的参数$\hat{w}和\hat{b}$
  
  对偶函数：$g(\alpha )={\inf }_{w,b}L(w,b,\alpha )$

• KKT的四个条件
  

• 求导计算
  
  得到$g(\alpha )=-1/2{\sum }_i{\sum }_j{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+{\sum }_{i=1}^n{\alpha }_i$

• 设$H_{ij}=y_i{y}_j{x}_i\ast x_j\in S_{++}^n$对称半正定矩阵
  于是$g(\alpha )=-1/2{\alpha }^{T}H\alpha +1^T\alpha$

• 转变求对偶问题
  $\max -1/2{\alpha }^{T}H\alpha +1^T\alpha$
  $s.t.\alpha \ge 0,\sum {\alpha }_i{y}_i=0$

• 用QP-solver得到$\alpha ，\hat{w}={\sum }_{i\in S}{\alpha }_i{y}_i{x}_i,{\alpha }_i\ne 0$

• $\hat{b}=1/N_S{\sum }_{i\in S}(y_i-{\sum }_j{\alpha }_j{y}_j{x}_j\ast x_i)$

• $y_i={\sum }_{j\in S}{\alpha }_j{y}_j{x}_j\ast x_i+\hat{b}$

支持向量分类器Support vector classifier

Support vector classifier就是引入了软间隔，实现有容错率的线性分割超平面

优化问题（$\gamma$）

支持向量机SVM-核函数

SVM就是引入的核函数，针对线性不可分的判别问题，指基于（低维到高维）映射函数（未知）的内积函数，通常这个映射函数很难找，而且求w的公式指出，仅需寻找一个合适的内积函数就行。

范数Norm

数值的范数

范数的判定条件$f:R^n\to R$

• $f(x)\ge 0$
• $f(x)=0⟺x=0$
• $f(tx)=|t|f(x)$
• $f(x+y)\le f(x)+f(y)$

p范数：$||X|{|}_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$

• 若$p\to \infty ,||x|{|}_{\infty }={\lim }_{p\to \infty }(\sum |x_i{|}^p{)}^{\frac{1}{p}}$
  设$u={\max }_i|x_i|，k=\arg {\max }_i|x_i|$
  $||x|{|}_{\infty }={\lim }_{p\to \infty }(u^p(1+{\sum }_{i\ne k}|\frac{x_i}{u}{|}^p){)}^{\frac{1}{p}}$
  $=u{\lim }_{p\to \infty }(1+{\sum }_{i\ne k}{\alpha }_i^p{)}^{\frac{1}{p}}=u$
  所以：$||x|{|}_{\infty }={\max }_i|x_i|$

矩阵的范数

• 范数定义：
  X ∈ R m × n ， ∣ ∣ X ∣ ∣ a , b = sup ⁡ { ∣ ∣ x u ∣ ∣ a ∣   ∣ ∣ u ∣ ∣ b ≤ 1 } X\isin R^{m\times n}，||X||_{a,b}=\sup\{||xu||_a|\space||u||_b\leq1\} X∈Rm×n，∣∣X∣∣a,b​=sup{∣∣xu∣∣a​∣ ∣∣u∣∣b​≤1}
• 当a=b=p，$||X|{|}_p=||X|{|}_{p,p}$

以下设p=2，$||xu|{|}_2^2=u^T{x}^{T}xu$

设$A=x^{T}x，G=u^{T}Au,{\lambda }_{max}=\sup u^{T}Au$

A就是特征值组成的对角矩阵，通过对A做正交分解

$设A=\sum {\lambda }_i{v}_i{v}_i^T,u=\sum c_i{v}_i,\sum c_i^2\le 1$
【$i\ne j$时，$v_i{v}_j=0$,v是标准正交基】

得到$G={\sum }_{i,j,k}{c}_i{v}_i^T{\lambda }_j{v}_j{v}_j^T{c}_k{v}_k=\sum c_i^2{\lambda }_i\le {\lambda }_{max}$

• 所以$||X|{|}_2={\sigma }_{max}(X)=({\lambda }_{max}(x^{T}x){)}^{\frac{1}{2}}$
• 同理求得$||xu|{|}_{\infty }={\max }_i{\sum }_j|x_{ij}|$
  max-row-sum norm
• 同理求得$||xu|{|}_1={\max }_j{\sum }_i|x_{ij}|$
  max-col-sum norm

对偶范数

• 对偶范数定义：
  z ∈ R n , ∣ ∣ z ∣ ∣ ∗ = sup ⁡ { z T x ∣   ∣ ∣ x ∣ ∣ ≤ 1 } z\isin R^n,||z||_*=\sup\{z^Tx|\space||x||\leq1\} z∈Rn,∣∣z∣∣∗​=sup{zTx∣ ∣∣x∣∣≤1}

∣ ∣ z ∣ ∣ ∞ ∗ = sup ⁡ { z T x ∣   ∣ ∣ x ∣ ∣ ∞ ≤ 1 } ||z||_{\infty*}=\sup\{z^Tx|\space||x||_\infty\leq1\} ∣∣z∣∣∞∗​=sup{zTx∣ ∣∣x∣∣∞​≤1}

若$||x|{|}_{\infty }\le 1$,那么x只能等于1或者-1

$z^{T}x=\sum z_i{x}_i\le \sum |z_i|\stackrel{x_i=sign(z_i)}{=}||z|{|}_1$

• $||z|{|}_{\infty \ast }=||z|{|}_1，同理||z|{|}_{1\ast }=||z|{|}_{\infty }$

∣ ∣ z ∣ ∣ 2 ∗ = sup ⁡ { z T x ∣   ∣ ∣ x ∣ ∣ 2 ≤ 1 } ||z||_{2*}=\sup\{z^Tx|\space||x||_2\leq1\} ∣∣z∣∣2∗​=sup{zTx∣ ∣∣x∣∣2​≤1}

$z^{T}x=||z|{|}_2||x|{|}_2\cos \theta \le ||z|{|}_2||x|{|}_2\le ||z|{|}_2$

• $||z|{|}_{2\ast }=||z|{|}_2$
• 另外：$||z|{|}_{p\ast }=||z|{|}_q(\frac{1}{p}+\frac{1}{q}=1,p,q\ge 1)$

奇异值分解SVD

• 若A是对称矩阵$A\in R^{n\times n}$
  $Q^T=Q^{-1}，A=Q\Lambda Q^T=\sum {\lambda }_i{q}_i{q}_i^T$

  • $Q$每一列是特征向量

  • $\Lambda$每一个对角元素是特征值

  • 做特征分解
    $A{q}_i={\lambda }_i{q}_i$
    $det(A)={\Pi }_{i=1}^n{\lambda }_i$
    $tr(A)={\sum }_{i=1}^n{\lambda }_i$
    $||A|{|}_2={\max }_i{\lambda }_i$

  • 瑞利熵
    

  • PCA（主成分分析）就是瑞利熵理论的一个应用
    LDA（线性判别分析）是泛化瑞利熵的一个应用​

• A不是对称方针，$A\in R^{m\times n}$

  • $A=U\sum V^T,rank(A)=r$
  • $U^{T}U=I,V^{T}V=I,\sum =diag({\sigma }_1,...,{\sigma }_r)$
  • $A={\sum }_i^r{\sigma }_i{u}_i{v}_i^T$
    
  • 分解$A^{T}A=v\sum u^{T}u\sum v^T=v{\sum }^2{v}^T$
    • v是$A^{T}A$的特征向量
    • ${\sigma }_i^2是A^{T}A$的特征值
  • 分解$A{A}^T=u\sum v^{T}v\sum u^T=u{\sum }^2{u}^T$
    • u是$A{A}^T$的特征向量
    • ${\sigma }_i^2是A{A}^T$的特征值
  • pesudo-inverse（伪逆）
    $A^{+}=V{\sum }^{-1}{U}^T=V{\sum }^{-2}{V}^{T}V\sum U^T$
    $=(A^{T}A{)}^{-1}{A}^T$
    若Ax=b，那么$x=(A^{T}A{)}^{-1}{A}^{T}b=A^{+}b$

总结

• 支持向量机
  

  • 优化问题
    $\min \frac{1}{2}||w|{|}_2^2$
    $s.t.1-y_i(w^T{x}_i+b)\le 0,\forall i$
  • 对偶问题&KKT条件
    互补松弛条件----支撑性质---->支持向量
  • 非线性分类问题
    核函数K，映射函数$x=\varphi (z)$

• 范数

  • 内积$<x,y>=x^{T}y$
    内积核夹角的关系：$\cos \theta =\frac{x^{T}y}{||x||||y||}$
  • P范数$||X|{|}_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$
    p=0：非零元素个数
    p=1：$||x|{|}_1={\sum }_i|x_i|$
    p=2：$||x|{|}_2=\sqrt{{\sum }_i{x}_i^2}$
    p=$\infty$：$||x|{|}_{\infty }={\max }_i|x_i|$
  • 矩阵范数 ∣ ∣ X ∣ ∣ a , b = sup ⁡ { ∣ ∣ x u ∣ ∣ a ∣   ∣ ∣ u ∣ ∣ b ≤ 1 } ||X||_{a,b}=\sup\{||xu||_a|\space||u||_b\leq1\} ∣∣X∣∣a,b​=sup{∣∣xu∣∣a​∣ ∣∣u∣∣b​≤1}
    p=2：$||X|{|}_2=({\lambda }_{max}(x^{T}x){)}^{\frac{1}{2}}$
    p=1：$||xu|{|}_1={\max }_j{\sum }_i|x_{ij}|$
    p=$\infty$：$||xu|{|}_{\infty }={\max }_i{\sum }_j|x_{ij}|$
  • 对偶范数 ∣ ∣ z ∣ ∣ ∗ = sup ⁡ { z T x ∣   ∣ ∣ x ∣ ∣ ≤ 1 } ||z||_*=\sup\{z^Tx|\space||x||\leq1\} ∣∣z∣∣∗​=sup{zTx∣ ∣∣x∣∣≤1}
    $||z|{|}_{\infty \ast }=||z|{|}_1$
    $||z|{|}_{1\ast }=||z|{|}_{\infty }$
    $||z|{|}_{2\ast }=||z|{|}_2$
    $||z|{|}_{p\ast }=||z|{|}_q(\frac{1}{p}+\frac{1}{q}=1,p,q\ge 1)$

• 奇异值分解
  

  • 对称矩阵（特征分解）$A=Q\Lambda Q^T$
    Rayleigh quotient：$R(A,x)=\frac{x^{T}Ax}{x^{T}x},|{\lambda }_{min},{\lambda }_{max}|$
  • 非对称矩阵（伪逆）$A=U\sum V^T,rank(A)=r$
    pseudo-inverse：$A^{+}=(A^{T}A{)}^{-1}{A}^T$