支持向量机思想转化成目标损失函数

1.线性可分支持向量机（硬间隔最大化）

2.线性支持向量机（软间隔最大化）

3.非线性支持向量机（升维核函数）

2.线性可分数据集：在数据集中可以找到一个超平面将数据集分开

线性不可分数据集：在数据集中不可以找到一个超平面将数据集分开。

3.支持向量到超平面的距离都是相等的

4.硬间隔最大化：超平面能够完美分类正负例，距离超平面最近的点越远越好。

5.怎么确定超平面？

6.找到一组最好的w,b固定一个超平面，使这个超平面在能完美区分正负例的基础上距离最近的点间隔最大。转换成有约束的函数优化问题就是

（这里Xmin,Ymin是支持向量的x,y坐标）

公式的意思表达了距离越近的点越远越好。

上述约束条件γ(i) >=γ(min)体现了所有的点都到超平面的距离大于支撑向量到超平面的距离。

因为γmin>0,所以yi(Wtxi + b)>0,所以yi（真实值）和yi(Wtxi + b)(预测值)是同号，也就是说这是预测正确的点

总的来说，这个约束条件就包括了分类正确的点到超平面的距离大于支撑向量到超平面的距离。

 7.简化目标

我们可以将函数距离=1（令函数距离等于1）

那么优化问题就变成

也就等价于也就是SVM损失函数，但是这个是带约束条件的最优化问题。