机器学习-支持向量机的数学讨论

1 支持向量机的特点：

• 泛化错误率较低，计算开销不大，结果容易解释；
• 对于参数和核函数选择敏感
• 可以适用于标称型数据和数值型数据

2 SVM解释如下：

• 对于二分类问题，寻找其线性可分的可能性。如果能够实现分割，则称为分割超平面。具体的，对于N维数据，需要构建一个(N-1)维的超平面。
• 由于超平面的构建的多样性，可以引入支持向量的概念，来量化分割超平面的好坏，从而定义超平面两侧的点到超平面的最小垂直距离
• 将超平面两侧点到超频面的最小垂直距离称为间隔，希望间隔越小越好，这样能够实现较高的数据容差，保证了分类器的稳健。而支持向量就是离分隔超平面最近的点。

3 如何求解点到分割超平面的距离？

• 为了研究分割超平面，首先需要给出其数学形式，最简单的N维数据分割超平面形式为$\vec{w}^T\vec{x}+b=0$，其中$\vec{w}$为
  N*1向量，$\vec{x}$为N*1向量，而b为标量。
• 对于任意一点A，坐标记为$(x_1,x_2,...,x_N)$，距离上述分割超平面的距离为$\frac{|\vec{w}^T\vec{A}+b|}{||\vec{w}||}$。数学证明可以采用向量方式，初等数学即可。

4 如何评价分类情况的好坏

• 对于计算得到的超平面方程，可以将测试点带入，这样可以得到一个数据，具体来说，代入点$\vec{u}$，计算$y=\vec{w}^T\vec{u}+b$。然后将结果输入到一个二分类的非线性函数中，得到映射后的分类情况。
• 支持向量机使用的非线性函数是采用label=+-1映射的情况，因此可以使用$label(\vec{w}^T\vec{u}+b)$，这样当结果较大时，则表明点u在离超平面很远的地方，间距较大。当然，如果分类错误，则会产生一个负数，负数越大，证明分类的误差越大。

5 如何定义优化的目标函数

• 根据上述分析，可以定义出一个优化问题： 存在参数(向量w和标量b)，需要步骤4的表达式，也就是$label(\vec{w}^T\vec{u}+b)$尽量大。由于存在多个u，则可以定义评价函数。
• 问题表述为(较难求解)
  $$\arg\max_{\vec{w},b}\{\min(\frac{label*(\vec{w}^T\vec{u}+b)}{||\vec{w}||})\}$$

6 标准形式的推导

• 上式较难求解，可以采用等效变换的方式。首先，向量$\vec{w}$和标量$b$可以同时放大或者缩小k倍，这并不会影响上述求解值（向量平移性质有关）。因此，可以利用该条件，定义$label(\vec{w}^T\vec{u}+b)>=1$，其中支持向量能够使得等式成立。如果满足该条件，那么原问题也成立。当然，这是假设分类均正确
• 接下来，对于分数形式的优化，可以采用最小化分子项和最大化分母项来进行，分子项最小为1，因此该式可以转换为如下的优化问题：
  $$\arg\min_{\vec{w},b}\frac{1}{||\vec{w}||}$$
• 为了能够求解上一个优化问题，结合二次规划算法，可以最终将等式转化如下：
  $$\arg\min_{\vec{w},b}{\frac{1}{2}||\vec{w}||^2}, st. y_i(\vec{w}^T\vec{x_i}+b)>=1$$
• 对于上述问题，可以利用凸二次优化方法进行求解。QP方法 quadratic programming

7 对偶形式推导

7.1 拉格朗日乘子法： 将带约束的情况转换为无约束情况。

• 对于等式约束的拉格朗日乘子法，其原理为（可能的一种理解方法）：
  
  1. 对于$\min{f(\vec{x})},st. \vec{w_i}^T\vec{x}+b_i=0,i=1...N$，可以转换为无约束的等式$L(\vec{x},\alpha_i)=f(\vec{x})+\sum\limits_{i=1\ to\ N}\alpha_i(\vec{w_i}^T\vec{x}+b_i)$；
  2. 对于上式L，求解对于x的偏导项，则可以得到x关于$\alpha_i$的表示，x项从$\partial f/\partial x$产生，而$\alpha_i$从后面的项产生；
  3. 将x关于$\alpha_i$的表示带入约束等式中，可以得到$\alpha_i$的值，该值能够保证约束等式成立，也就是说， L(x,αi)=