人工智能与大数据——支持向量积SVM

一，支持向量积在分类中的作用

1，定义：找到一个超平面，使其产生一个将数据分类的最大间距

2，什么是支持向量

每一个点为一个向量，支持分界线的点为支持向量。

3，支持向量机与逻辑回归的损失函数

（1）

支持向量机为绿色的Hinge loss     SVM

逻辑回归为红色的Logistic loss  

这个图代表什么意思？x轴和y轴各代表什么意思？

（2）

Logistic  loss上升得快，也就是说对于异常值会有更大的惩罚，导致逻辑回归对异常点的容忍程度相对较低

（3）

不管哪一个损失函数，即使分类对了，在边界附近的值也会受到惩罚，这导致二者都会要求能够更好的分类，从而使各个值能够近可能的远离边界。

（4）

如果一个值被确信地分类，也就是它离得边界很远，Logistic loss也不会变为零。这导致逻辑回归进一步要求所有点都能够进一步远离边界。

 

如果一个值被比较好的分类，也就是它离得边界比较远，Hinge loss立即变为零。这导致支持向量机并不在乎分类正确的较远的点到底在哪，他只在意边界附近的点。

 

注意：

逻辑回归尝试将所有点都远离边界

支持向量机尝试将支持向量推得更开

 

图片分析：

逻辑回归想要的是不同种类能分开就全部分开，就算中间隔一张纸也算分开

支持向量机想要的是不同种类离得越远越好，最好是一堵厚墙，即使牺牲一些分类到对方得也无所谓。