KNN算法

最新推荐文章于 2024-08-13 11:32:36 发布

汇美吴轻疯

最新推荐文章于 2024-08-13 11:32:36 发布

阅读量5.3k

点赞数

分类专栏：数据挖掘与机器学习文章标签： python 机器学习

本文链接：https://blog.csdn.net/wc842809936/article/details/111499374

版权

本文介绍了KNN算法的基本原理，包括K值选择、距离计算方法，并探讨了算法的优缺点。在K值选择中，建议k∈[2,20]，并考虑奇数以避免分类平票。距离计算通常采用Lp距离，如欧氏距离和曼哈顿距离。KNN算法的优点是简单易懂，适合边界不规则的数据，但缺点是对大量数据和高维特征的处理效率较低。最后，通过Python的sklearn库展示了KNN在鸢尾花数据上的应用实践。" 113684081,10545429,Swoole并发能力探究：PHP-Swoole与MySQL并行处理,"['swoole', '并发', 'mysql', 'php', '服务器']

摘要由CSDN通过智能技术生成

1. KNN算法原理

k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。

1.1 K值选择

kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。需注意最好K的取值为奇数，防止出现平票而无法分类的情况。

k值还可以表示我们的模型复杂度，k值越小，意味着模型复杂度变大，更容易过拟合(用极少数的样例来绝对这个预测的结果，很容易产生偏见，这就是过拟合)。k值越大，学习的估计误差越小，但是学习的近似误差就会增大，容易造成欠拟合。

1.2 距离计算

样本之间的距离的计算，我们一般使用对于一般使用Lp距离进行计算。当p=1时候，称为曼哈顿距离(Manhattan distance)，当p=2时候，称为欧氏距离(Euclidean distance)，当p=∞时候，称为极大距离(infty distance), 表示各个坐标的距离最大值,另外也包含夹角余弦等方法。

一般采用欧式距离较多，但是文本分类则倾向于使用余弦来计算相似度。

对于两个向量 $x_i,x_j)$ ,一般使用 $L_p$ 距离进行计算。假设特征空间 $X$ 是n维实数向量空间 $R^n$ , 其中, $x_i,x_j \in X$ ,
$x_{i}=\left(x_{i}^{(1)}, x_{i}^{(2)}, \ldots, x_{i}^{(n)}\right)$ , $x_{j}=$