(斯坦福机器学习课程笔记)支持向量机之对偶问题

每一个线性规划问题都有与之对应的一个对偶问题，如:

$min_{x,y} \quad x+3y$
$s.t.\quad x+y\geq2$
$x,y\geq0$

可以这样找到对偶问题:

$a(x+y)\geq2a$
$a(x+y)+bx+cy\geq2a\quad a,b,c\geq0$
$(a+b)x+(a+c)y\geq2a\quad a,b,c\geq0$
令$a+b=1$
$a+c=3$
$2a$就是$x+3y$的下限，原问题的对偶问题是:

$max_{b,c}\quad 2a$
$s.t. \quad a+b=1$
$a+c=3$
$a,b,c\geq0$

一般的，对于这样的线性规划问题:
$min \quad c^Tx$
$s.t. \quad Ax=b$
$Gx\leq h$
A和G是矩阵，c,b,h和x是向量
寻找他的对偶问题:

$-U^TAx=-b^TU$
$+$
$-VGx\geq -h^TV \quad V\leq 0$
$(-A^TU-G^TV)x\geq-b^TU-h^TV$
$令c^T=-A^TU-G^TV$
则他的对偶问题是:
$max \quad -b^TU-h^TV$
$s.t. -A^TU-G^TV=c$
$V\leq 0$