SVM支持向量机 超详细过程讲解

前言

此篇文章为B站浙大机器学习课程支持向量机部分的个人笔记，不喜勿喷。笔记顺序从线性模型到非线性模型，层层递进，十分易懂。

一、线性模型

先从一个简单二维线性模型开始。

可以简单的认为，就是找到一条线，并让这条线到两边的距离都为d/2，而在虚线上的点，就叫做支持向量。

• 接着提升到三维空间里，就可以认为是找到一个平面，并让这个平面到两边的距离都为d/2，而距离这个平面d/2的点，就叫做支持向量。
• 最后 扩展到高维空间里，就可以认为是找到一个超平面，并让这个超平面到两边的距离都为d/2，而距离这个平面d/2的点，就叫做支持向量。在高维空间中，点的表示为(x1,x2,…,xn)，所以通常把高维空间中的点叫做向量。

因此，我们可以得到支持向量的定义：

• 训练数据及标签：(x1, y1), (x2, y2) …
  注意：这里的x1是高维空间的坐标，是一个向量，可以表示为
  x1 = [x11, x12, x13, … , x1n]T。而y1是标签，y1 只能为