本文介绍了K近邻(KNN)算法的基本思想和应用，包括KNN的分类过程，多种距离度量公式如欧氏距离、曼哈顿距离等，并探讨了三种KNN算法实现方式：Brute Force、KD-Tree和Ball-Tree，讨论了它们的优缺点和适用场景。
机器学习之KNN算法原理
1 KNN算法简介
KNN(K近邻) 作为最基本一种机器学习算法，其使用连续值特征。算法思想的有效性使得它能够用于分类，回归，降维，矩阵分解，聚类，异常值检测等等，其中既有监督，也有无监督算法。而我们将只从分类算法展开，理解 KNN 的具体实现过程即可。
2 算法思想
KNN 的算法思想是给定预测数据，在固定数据集空间中找到与它最相邻(相似)的K个数据，最后使用多数表决法决定预测数据的类别。作为一个懒惰学习算法(Lazy learning)，其本身并没有损失函数与相关参数。
3 多种距离度量公式
虽然 KNN 可选择距离公式有很多，但是只需知道几种比较重要的即可。
在展示以下距离公式前，假定数据集的特征序列为{
x 1 , x 2 . . . x n x_1,x_2...x_n x1,x2...xn}，预测(Prediction)数据为 P P P，相对比的单个数据为 X X X。
① 欧氏距离(Euclidean distance)
欧式距离应该是最简单，最常用的距离公式了，公式为
D ( P , X ) = ( p 1 − x 1 ) 2 + ( p 2 − x 2 ) 2 + . . . + ( p n − x n ) 2 = ∑ i = 1 n ( p i − x i ) 2 D(P,X)=\sqrt{
{(p_1-x_1)}^2+{(p_2-x_2)}^2+...+{(p_n-x_n)}^2}=\sqrt{\sum_{i=1}^n(p_i-x_i)^2} D(P,X)=(p1−x1)2+(p2−x2)2+...+(pn−xn)2
最低0.47元/天 解锁文章
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
