K近邻算法

K近邻算法是一种基于实例的学习方法,通过找到训练数据集中与新实例最近的k个邻居来预测其类别。通常使用欧氏距离作为度量标准,k值的选择对结果有直接影响。kd树作为一种数据结构,能有效加速k近邻搜索过程。除了分类,k近邻算法也可用于回归任务。
摘要由CSDN通过智能技术生成

给定一个训练数据集,对新的输入实例,在训练数据集中找到跟它最近的k个实例,根据这k个实例的类判断它自己的类(一般采用多数表决的方法)
距离度量: 一般使用欧氏距离,也可以使用其他距离。
k值的选择:k较小,容易被噪声影响,发生过拟合。k较大,较远的训练实例也会对预测起作用,容易发生错误。
分类决策规则:多数表决(应该也可以根据距离使用带权重的表决方式)。
主要问题:如何快速的进行k近邻搜索。

最近邻(1-NN)算法图示:
这里写图片描述

5-NN算法图示:
这里写图片描述

k近邻算法的实现:kd树

T = [[2, 3], [5, 4], [9, 6], [4, 7], [8, 1], [7, 2]]


class n
  • 4
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值