SVM和KNN分类的对比
KNN
KNN分类问题,离哪些点较近,就归哪一类。
SVM
SVM分类问题,找决策边界,把数据进行划分开。
SVM分类的原理
支持向量积
将两组数据划分开,选出好的决策边界
步骤:
支持向量
寻找支持向量
选出最好的决策边界
注: 支持向量要小的,要考虑离自己最近的雷才最安全。
决策边界要大的,要最宽的道路才能行动的更快,更不容易踩雷。
先找支持向量,再找决策边界
距离与数据定义:
在平面上构造了直线
点到平面的距离公式,借助了向量和法向量进行相关求解。
1.距离计算(点到平面的距离)
点现在知道了,但面其实是不知道的,需要进行假设。(用到了向量和法向量的知识)
2.目标函数
3.部分数学原理
拉格朗日乘子法
简化最终目标函数
![](https://i-blog.csdnimg.cn/blog_migrate/cf6c8cef8ec04d26ec1ff93dd2f43866.png)
例子
4.软间隔优化
5.核函数(分类好的关键)
升维,二位的变成三维的,可能能够很好的用平面分开。
升维效果展示
映射到高维,可能更好看出来不同,但确实计算量增大了很多。
高斯核函数
SVM鸢尾花案例
SVM鸢尾花分类20210512 - 飞桨AI Studio (baidu.com)
加载相关包
加载数据、切分数据集
构建SVM分类器,训练函数
初始化分类器实例,训练模型
展示训练结果及验证结果