机器学习3-基于支持向量机的简易概念

1.什么是支持向量

从数学角度引出其表达式：

其中，$X_i=【x_1,......,X_n】\in X$, $y\in${-1,1 }表示俩种类别即：“+，-”
$w$为法向量，b为位移。

图1-1
所有在上间隔边界上方的样本属于正类，在下间隔边界下方的样本属于负类。两个间隔边界的距离
定义为边距（margin），位于间隔边界上的正类和负类样本为支持向量（support vector）。

2.损失函数

从数学角度引出其表达式：
图1-2
图1-2中 0-1损失函数和其代理损失，红实线为0-1损失，黑实线为铰链损失
图中包含

1. 铰链损失函数（hinge loss）；
2. logistic损失函数（logistic loss）；
3. 指数损失函数（exponential loss）；

注意（损失函数不是连续函数，不利于优化问题）需要构造一个代理损失函数）

这里， 代理损失是连续凸函数，并在任意取值下是0-1损失函数的上界，则求解代理损失最小化所得结果也是0-1损失最小化的解

• 在svm中我们采用铰链损失函数；

• 以上都是最简单的支持向量机的介绍，对于想要进一步学习的小伙伴来说，建议看以下二本书：

        1.机器学习—周志华
        2.  Machine Learning in Action—Peter Harrington
         （现在已经有了翻译版，但那是我看上面有好多错译）
          “