SVM （support vector machine）一个在svm文章中 你可能可以看懂的版本。

鉴于网上所有博客都是上来就贴公式，本人在学习的时候，根本没有办法理解svm到底要干什么，所以有了这篇稍微通俗一点的讲解并且附上本人的学习资料。（字丑。。。。。）

（u其实就是x）

关于第一步的解释： 

我们把坐标系中的点都看作是向量（坐标系就是你选取的feature），w 是分界线的垂直向量， 根据图上的公式，我们可以求任何一个点 在决策线的垂直方向上的投影。 根据这个投影长度是不是超过决策线，我们就可以判断这个点的分类（投影比原点到决策线的距离还大，就是右边那一类，比到决策线的距离短，就是左边那一类）。 这整个逻辑下来，就是我们的决策规则。

————————————————————————————————————————————

第二步就是构建我们的决策边界的表示形式（这个可以看作一个constrain，为了后边的拉格朗日做铺垫）。

在这里我们假设其中一个类别的label是1，另外的是-1，用w·x + b来表示上一步的那个式子，然后假设决策边界距离就是1，最后将这个label 乘到式子上去，我们就能得到一个通式来表示所有的类别。

而这个决策边界要经过距离决策线最近的那些点，所以我们可以找到等式 2）。（如果这个解释不懂的话，那你就需要很多详细的过程，不要慌，可以看我附上来的视频链接）。

————————————————————————————————————————————

好了，现在我们可以表示我们的决策 边界了， 我们要做的事情就是最大化这个边界（图1 中 三条线都可以作为决策线，但是中间那条才是最符合当前数据分布的，因为他最公正；所以两边那两条就是决策边界）。

还记得w么，就是垂直于决策线的那个向量，现在我们首先要找个这个边界距离的表达式，才能最大化它。

随便找两个分别在这两条决策边界上的点，做向量减法，并且得到这个向量在我们w向量方向上的投影长度，这个投影长度就是决策边界的距离。通过2）式，得到这两个决策边界的点，然后将x的表示形式带入我们的 width表达式，可以得出这个宽度的表达式：2/w的二范式。

图中，把这个表达式变成二分之一的形式，是为了后边拉格朗日求偏导好求。

————————————————————————————————————————————

这一步纯属数学问题，需要说明的就是，最后我们得到的式子中，我们唯一可以影响结果的地方就是那个 x·x。这里用到了kernel trick（自行百度），这也是使得我们用svm可以保证得到全局最优解的关键点。

————————————————————————————————————————————

这里插一句，拉格朗日求解应用到KKT的知识，楼主暂时也不会。。。

-------------------------------------------------------------------------

最后，把w带入我们的决策式中，如果大于0，就说明是正例。

下边有两个视频资料，我觉得很好（别去看有一些国内老师上来就说svm是为了解决lr不能解决的，圆形边界问题的视频）

MIT：https://www.youtube.com/watch?v=_PwhiWxHK8o

第二个是李宏毅老师的视频，在youtube搜索可以找到