梅科尔工作室-李庆浩深度学习 KNN算法与SVM算法

心之所向，我之所望

已于 2022-08-19 23:13:26 修改

阅读量943

点赞数

分类专栏：深度学习文章标签：算法支持向量机深度学习

于 2022-08-19 22:54:06 首次发布

本文链接：https://blog.csdn.net/qq_62058931/article/details/126424677

版权

深度学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1.KNN与SVM对比分析

1.1算法原理

KNN算法是物以类聚，人以群分，身旁哪个种类最多就把预测的样本归为哪一类，基本原理就是找到距离最近的K个元素，然后将这K个元素进行排列，哪个种类多，就将样本进行归类。具体细节可参考上一篇博客。梅科尔工作室-李庆浩深度学习-KNN算法_心之所向，我之所望的博客-CSDN博客

SVM算法是类似与地域划分，身处哪个种类的地域就将预测的样本的归为哪一类。其中最重要的是超平面wx+b,算法需要这个超平面来划分界限，所以会通过模型训练找到合适的w和b的值，除了w和b的参数。

1.2算法模型

knn没有训练过程，对于KNN，没有训练过程。只是将训练数据与训练数据进行距离度量来实现分类，算法比较简单，写起来也比较容易。

svm需要超平面wx+b来分割数据集（此处以线性可分为例），因此会有一个模型训练过程来找到w和b的值。训练完成之后就可以拿去预测了，根据函数y=wx+b的值来确定样本点x的label，不需要再考虑训练集。对于SVM，是先在训练集上训练一个模型，然后用这个模型直接对测试集进行分类。

1.3模型效率

knn没有训练过程，但是预测过程需要挨个计算每个训练样本和测试样本的距离，当训练集和测试集很大时，预测效率感人。svm有一个训练过程，训练完直接得到超平面函数，根据超平面函数直接判定预测点的label，预测效率很高。

1.4模型参数

两者调参过程不一样。 knn只有一个参数k，而svm的参数更多，在线性不可分的情况下（这种情况更普遍），有松弛变量的系数，有具体的核函数。KNN预测时要用到全部训练样本点，为非稀疏模型。SVM只用到支持向量，为稀疏模型。

2.SVM算法原理

SVM的全称是Support Vector Machine，即支持向量机，主要用于解决模式识别领域中的数据分类问题，属于有监督学习算法的一种。简单的来讲就是我们在数据中可以找到一条线或者一个平面等决策边界将数据分开来，以此对数据进行分类。如图所示就是一个简单的二维数据的分类，中间的红色实线就是一个决策边界，两边的虚线之间的距离为间隔区，简单来说就是缓冲区，即两边数据到决策边界的距离，为数据到决策边界进行一个缓冲。所以svm数据算法重要的是找到合适的决策边界，而计算决策边界的步骤通常如下：

2.1距离计算

首先我们要先找到合适的支持向量，如上图中在边界上的元素就是支持向量，然后通过假设决策边界通过支持向量到决策边界的距离通过向量和法向量相关公式得出目标函数。

2.2目标函数

目标函数的目的：找到一条线，使得离该线最近的点能够最远。也就是优化对数据分类的能力。我们会对目标函数进行放缩变换和优化目标对目标函数进行处理。

2.3数学原理的使用

在对目标函数进行优化时，我们不可避免地会使用一些高等数学的知识，如图所示。所以我们要具备一些高等数学知识的运用，不然很难看懂其中的逻辑。

2.4软间隔优化

当我们的间隔内有其它的元素出现时，我们可以把间隔分为硬间隔和软间隔，如图所示。如果我们还按照之前进行决策区间的选取，会选成如图所示的硬间隔，但这会对数据分类的结果不友好，所以我们可以选择忽略这些元素，而构建如图所示的软间隔的决策区间。之前的方法都是要把两类数据全部分开，这次我们可以不这么严格，通过引入松弛因子来解决这个软间隔的问题。