梅科尔工作室-SVM培训

1.SVM与KNN的区别

 svm：

就像是在河北和北京之间有一条边界线，如果一个人居住在北京一侧就预测为北京人，在河北一侧，就预测为河北人。但是住在河北的北京人和住在北京的河北人就会被误判。

svm需要超平面wx+b来分割数据集（此处以线性可分为例），因此会有一个模型训练过程来找到w和b的值。训练完成之后就可以拿去预测了，根据函数y=wx+b的值来确定样本点x的label，不需要再考虑训练集。对于SVM，是先在训练集上训练一个模型，然后用这个模型直接对测试集进行分类。

 

 knn：

就是物以类聚，人以群分。如果你的朋友里大部分是北京人，就预测你也是北京人。如果你的朋友里大部分是河北人，那就预测你是河北人。不管你住哪里。
knn没有训练过程，他的基本原理就是找到训练数据集里面离需要预测的样本点距离最近的k个值（距离可以使用比如欧式距离，k的值需要自己调参），然后把这k个点的label做个投票，选出一个label做为预测。对于KNN，没有训练过程。只是将训练数据与训练数据进行距离度量来实现分类。

2.SVM原理

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如下图所示， w⋅x+b=0 即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。

2.1 寻找最大间隔

既然这样的直线是存在的，那么我们怎