SVM

##svm##
svm和逻辑回归一样，也是用来学习得到一个决策边界(decision bundary)的，只不过在某些情况下比逻辑回归更加有效。
###1.引子-逻辑回归###
$$h_{\theta }(x)=\frac{1}{1+\exp (-{\theta }^{T}X)}$$
对于该假设：

• if y = 1,then $h_{\theta }(x)=1$,${\theta }^T$x>>0
• if y = 0,then $h_{\theta }(x)=0$ ,${\theta }^T$x<<0
  cost function is:
• $cost=-ylog\frac{1}{1+exp(-z)}-(1-y)log(1-\frac{1}{1+exp(-z)})$
  对cost进行优化：
  $mi{n}_{\theta }\frac{1}{m}[{\sum }_{i=1}^m{y}^{(i)}(-\log h_{\theta }(x^{(i)})+(1-y^{(i)})(-\log (1-h_{\theta }(x^{(i)}))))]+\frac{\lambda }{2m}{\sum }_{j=1}^n{\theta }_j^2$
  ###2. svm###
  在svm中，去除$\frac{1}{m}$这一项（仅是为了计算方便），设：
  $cos{t}_1({\theta }^T{x}^{(i)})$ = $y^{(i)}(-\log h_{\theta }(x^{(i)}))$
  $cos{t}_0({\theta }^T{x}^{(i)})$ = $(1-y^{(i)})(-\log (1-h_{\theta }(x^{(i)})))$
  则优化目标变为：
  $mi{n}_{\theta }{\sum }_{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{\lambda }{2}{\sum }_{j=1}^n{\theta }_j^2$
  在逻辑回归中，$A+\lambda B$:$\lambda$越大，则赋予B更大的权重，相对B对该式影响越小，所以增大$\lambda$有利于调整B对公式的计算结果的影响.
  在svm中，$CA+B$;C越小，则赋予B更大的权重，效果与逻辑回归中一样。所以，可以将C设为$\frac{1}{\lambda }$。则，优化目标可以修改为：
  $$mi{n}_{\theta }C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$
  该公式则为svm的优化目标。
  令$z={\theta }^T{x}^{(i)}$
  如果y=1,希望：$cos{t}_1(z)$是当z>=1时，$cos{t}_1(z)=0$
  如果y=0,希望:$cos{t}_0(z)$是当z<=-1时，$cos{t}_0(z)=0$
  如果C很大，则希望找到使得$y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})$整体为零的最优解。即:
  $y^{(i)}=1:{\theta }^T{x}^{(i)}>=1$
  $y^{(i)}=0:{\theta }^T{x}^{(i)}<=-1$
  则：
  $mi{n}_{\theta }C\ast 0+\frac{1}{2}{\sum }_{j=1}^n{\theta }_j^2$
  $s.t.z>=1,如果y^{(i)}=1;z<=-1,如果y^{(i)}=0$
  ###3.决策边界###
  

参考：南京大学吴老师《模式识别》课程和上海财大的《最优化理论与方法》