SVM的简单理解

1、基本知识
决策边界，或称为决策面，其目的是将两种类别的进行分开。

决策边界如何定义？训练集上的正负样本到决策边界的距离保持最大。

支撑向量是什么？可以理解为当前样本下，支撑当前决策边界的样本，如何支撑向量不变，继续增加训练样本，决策边界不会发生变化。

松弛因子ei（大于0），对约束进行放松，允许噪声点的存在，这个很重要，因为大部分情况下样本都是近似可分（即使在使用核函数的情况下），松弛因子的存在使寻找的决策边界更优。

惩罚项C（大于0），控制松弛因子ei的作用情况，当C很大，ei发挥的作用小，也就是松弛的少，当C很小，ei发挥的在作用大，松弛的多

SVM的目标函数与约束怎么来？
假设决策边界函数$g(x)=wx+b$,则样本点到$g(x)的距离为$
$$\frac{|g(x)|}{||w||}$$在SVM中只关注支撑样本点，然后取距离它们最远的平面为决策边界，转为数学公式为：$$max(min(\frac{|g(x)|}{||w||}))$$,可以简化成：$$max(\frac{1}{||w||})$$ $$s.t.y_i\ast g(x_i)\ge 1$$怎么来的呢？一般有$y_i=-1或1，|g(x)|\ge 1$所以推导得到

2、基本原理
假设给定样本集$D=(x_1,y_1),((x_2,y_2),\cdot$