浙江大学《机器学习》MOOC课程笔记 支持向量机SVM（二）

原问题（PRIME PROBLEM）和对偶问题（DUAL PROBLEM) [半懂不懂一知半解懵懵懂懂]

• 拉格朗日乘子法

  Step.1原函数
  假设有K个不等式，m个等式
  
  Step.2定义拉格朗日函数$L(w,\alpha ,\beta )$
  为每条约束条件添加拉格朗日乘子${\alpha }_i\ge 0$

Step.3对偶函数

$L(w,\alpha ,\beta )$遍历所有定义域上的$w$,找到使$L(w,\alpha ,\beta )$最小的，同时将这个最小的函数值赋值给$\theta (\alpha ,\beta )$

• 定理
  1.定理一：对偶定理（DUALITY THEOREM)证明：
  

引申：对偶差距（DUALITY GAP）

2.定理二：强对偶定理（STRONG DUALITY THEOREM)

转化为对偶问题

• 将SVM的优化问题改造为原问题
  为了让改进至目前的SVM的优化问题满足强对偶定理，而原问题中的$g_i(w)\le 0$，故首先要将SVM的两个限制条件由$\ge 0$进行改造
  

此时原问题中的
而不等式$g_i(w)\le 0$被分成了两部分

由于问题中全为不等式，故不存在$h_i(w)=0$项。

按照对偶问题的定义将对偶问题写成如下形式：
其中${\alpha }_i,{\beta }_i$分别是改造两个$g_i(w)\le 0$条件的系数，类比于原问题中的拉格朗日乘子${\alpha }_i$

• 如何将原问题化为对偶问题
  由于要对$(w,{\delta }_i,b)$分别遍历求最小值，所以对三个变量分别求导并令导数$=0$(由于$w$为向量，故使用向量求导准则）
  将求得的三个式子带入表达式中，可以将SVM的原问题转化为对偶问题：
  

算法流程 [这个好难懂诶(#`O′)]

1.如何求解上述对偶问题
2.基于对偶问题给出SVM算法的统一流程

• 根据核函数的公式，只需要知道核函数的值，而无需知道具体的$\varphi (x_i),{\varphi }^T(x_i)$,带入公式求解出所有的${\alpha }_i(i=1$~$N)$后,可以根据求出$w$
  注意 由于$\varphi (x_i)$不知道是否具有显示表达式，所以$w$也不知道是否具有显示表达式。

• 如何求b
  首先，
  

  其次，根据KKT条件，对所有的$i(1$~$N)$，可以得到两个$g_i(w)$分式$=0$，
  $$\{\begin{array}{rlr}& {\beta }_i{\delta }_i=0\to (c-{\alpha }_i){\delta }_i=0& \\ & {\alpha }_i[1+{\delta }_i-y_i{w}^T\varphi (X_i)-y_{i}b]=0& \end{array}$$
  并且同时，如果对某个i，${\alpha }_i\ne 0$且${\alpha }_i\ne c$,则根据KKT条件，必有
  $$\{\begin{array}{rlr}& {\delta }_i=0& \\ & 1+{\delta }_i-y_i{w}^T\varphi (X_i)-y_{i}b=0& \end{array}$$

由于等式$1+{\delta }_i-y_i{w}^T\varphi (X_i)-y_{i}b=0$中的项， $$y_i{w}^T\varphi (X_i)=\sum _{j=1}^N{\alpha }_i{y}_i{y}_{j}K(X_j,X_i)$$
注意 如果${\alpha }_i=0$，则该样本不会出现在公式的求和中出现，也就不会对$f(x)$产生影响，如果${\alpha }_i＞0$，则必有$y_{i}f(x_i)=1$,所对应的样本点位于最大间隔边界上，是一个支持向量。
所以只需要找到$0<{\alpha }_i<c$，那么$b$的求解公式为：

• 对于一个测试样本X，如何获得其预测的类别
  1.“核函数戏法”
  2.只通过核函数，也能求得SVM算法最终预测的类别
  3.SVM训练和测试的流程（基于对偶问题的求解）
  a.训练过程
  ①输入训练数据
  

  ②求${\alpha }_i(i=1$~$N)$
  

  ③求$b$
  

  b.测试过程
  

课后思考题

浙江大学《机器学习》 mooc课程