SVM的一些学习心得及案例（Python代码）实现

1、基本概念

向量的内积即一个向量在另一个向量上的投影乘上被投影向量的模，上图不管是a投影在b上，还是b投影在a上，其结果是一样的，原理参照 B站上 3Blue1Brown

a∙b = (a1e1 + a2e2)∙(b1e1 + b2e2)

           = a1b1e1e1 + a1b2e1e2 

              + a2b1e2e1 + a2b2e2e2

           = a1b1 + a2b2

             =aTb

对于一个超平面，其方程为 wTx + b = 0 (二维的超平面就是线，而线的方程为ax + by + c = 0 )，

假设A、B两点在wTx + b = 0上

那么向量 w 垂直于这个超平面。

2、线性可分支持向量机

假设对于如图所示的训练集，我们怎么去寻找它的超平面呢？

无数条直线可以表示为wTx(i)+ b,我们要做的就是在这么多条的直线中找到一条比较好的超平面

因此首先需要求出所有样本点到直线的距离d=|wTx(i)+ b| / ||w||,而如果我们定义实心点为正例+1，空心点为负例-1