机器学习之KNN算法原理

本文介绍了K近邻(KNN)算法的基本思想和应用,包括KNN的分类过程,多种距离度量公式如欧氏距离、曼哈顿距离等,并探讨了三种KNN算法实现方式:Brute Force、KD-Tree和Ball-Tree,讨论了它们的优缺点和适用场景。
摘要由CSDN通过智能技术生成

1 KNN算法简介

KNN(K近邻) 作为最基本一种机器学习算法,其使用连续值特征。算法思想的有效性使得它能够用于分类,回归,降维,矩阵分解,聚类,异常值检测等等,其中既有监督,也有无监督算法。而我们将只从分类算法展开,理解 KNN 的具体实现过程即可。


2 算法思想

KNN 的算法思想是给定预测数据,在固定数据集空间中找到与它最相邻(相似)的K个数据,最后使用多数表决法决定预测数据的类别。作为一个懒惰学习算法(Lazy learning),其本身并没有损失函数与相关参数。


3 多种距离度量公式

虽然 KNN 可选择距离公式有很多,但是只需知道几种比较重要的即可。
在展示以下距离公式前,假定数据集的特征序列为{ x 1 , x 2 . . . x n x_1,x_2...x_n x1,x2...xn},预测(Prediction)数据为 P P P,相对比的单个数据为 X X X

① 欧氏距离(Euclidean distance)

欧式距离应该是最简单,最常用的距离公式了,公式为
D ( P , X ) = ( p 1 − x 1 ) 2 + ( p 2 − x 2 ) 2 + . . . + ( p n − x n ) 2 = ∑ i = 1 n ( p i − x i ) 2 D(P,X)=\sqrt{ {(p_1-x_1)}^2+{(p_2-x_2)}^2+...+{(p_n-x_n)}^2}=\sqrt{\sum_{i=1}^n(p_i-x_i)^2} D(P,X)=(p1x1)2+(p2x2)2+...+(pnxn)2

  • 6
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值