吴恩达机器学习之顺序最小化优化算法

核函数的定义

定义映射$x\rightarrow\phi(x)$，其中$x\in R$，$\phi(x)$是一个向量
核函数定义①：
$k(x,z)=(x^Tz)^2=(\sum_ix_iz_i)(\sum_jx_jz_j)$
$=\sum_i\sum_j(x_ix_j)(z_iz_j)=(\phi(x)^T\phi(z))$
其中$x,z\in R^n$，,$\phi(x)=\begin{cases} x_1x_1 \\ x_1x_2 \\ \vdots \\ x_nx_n \end{cases}$，是一个$n$x$n$维向量
核函数定义②：
$k(x,z)=(x^Tz+c)^2$
核函数定义②：
$k(x,z)=(x^Tz+c)^d$
$x\rightarrow\phi(x),z\rightarrow\phi(z)$，$k(x,z)=\begin{cases} large&x,z是相似的\\ small&otherwise \end{cases}$
可以用一种高效的算法也就是内积去计算$k(x,z)$而不用显式的表示出$\phi(x)$
核函数$k(x,z)$是衡量$x,z$的相似度
我们的目的是证明存在$\phi$，使得$k(x,z)=<\phi(x),\phi(z)>$
假设$k$是一个有效的核函数，给定一个样本集$\{x_1,x_2,\cdots,x_m\}$
令$k_{ij}=k(x^i,x^j)$
$z^Tkz=\sum_i\sum_jz_ik_{ij}z_j=\sum_i\sum_jz_i\phi(x^i)^T\phi(x^j)z_j$
$=\sum_i\sum_jz_i\sum_k\phi(x^i)_k\phi(x^j)_kz_j$
$=\sum_k\sum_i\sum_jz_i\phi(x^i)_k\phi(x^j)_kz_j$
$=\sum_k(\sum_iz_i\phi(x^i)_k)^2\geq0$，所以$k$是一个半正定矩阵

非线性决策边界（L1 norm 软间隔SVM）

SVM原始问题：
$\min\_{w,b}frac{1}{2}\mid w \mid^2$，$s.t.:y^i(w^Tx^i+b)\geq1$
在软间隔SVM，原始问题变成：
$\min_{w,b,\xi}\frac{1}{2}\mid w \mid^2+c\sum_i\xi_i$，$s.t.:y^i(w^Tx^i+b)\geq1-\xi_i,\xi_i\geq0$
拉格朗日算子：
$L(w.b,\xi,\alpha,r)=\frac{1}{2}\mid w\mid^2+c\sum_i\xi_i-\sum_i\alpha_i(y^i(w^Tx^i+b)-1+\xi_i)-\sum_ir_i\xi_i$
对偶问题
$\max W(\alpha)=\sum_i\alpha_i-\frac{1}{2}\sum_i\sum_jy^iy^j\alpha_i\alpha_j<x^i,x^j>$，$s.t.:\sum_i\alpha_iy^i=0$，$0\leq\alpha_i\leq c$
收敛条件：
$\alpha_i=0\Rightarrow y^i(w^Tx^i+b)\geq1$
$\alpha_i=c\Rightarrow y^i(w^Tx^i+b)\leq1$
$c>\alpha_i>0\Rightarrow y^i(w^Tx^i+b)=1$

坐标上升法

对于没有限制的优化问题$\max W(\alpha_1.\alpha_2,\cdots,\alpha_m)$，除了用牛顿法和梯度下降法，还可以用坐标上升法。
坐标上升法的原理是每次改变一个参数$\alpha_i$，求解$\alpha_i=\max W(\alpha_1,\alpha_2,\cdots,\alpha_{i-1},\alpha_i^-,\alpha_{i+1},\cdots,\alpha_m)$,然后对$i$做循环1到m

smo算法（序列最小化算法）

该算法对坐标上升法进行改进，每次改变两个参数
选择参数$\alpha_i,\alpha_j$，固定其他参数，使得$W$对这两个参数最优且满足约束条件
仅对$\alpha_1,\alpha_2$进行推导($\sum_i\alpha_iy^i=0$)
更新$\alpha_1,\alpha_2$，$\alpha_1y^1+\alpha_2y^=-\sum_{i=3}^m\alpha_iy^i=\xi$
$W(\alpha_1,\alpha_2,\cdots,\alpha_m)=w(\frac{\xi-\alpha_2y^2}{y^1},\alpha_2,\cdots,\alpha_m)=a\alpha_2^2+b\alpha_2+c$