机器学习 KNN算法原理

目录

一：KNN算法概念

二：KNN原理

三：KNN超参数

四：KNN算法选择

---

一：KNN算法概念

KNN(K-Nearest Neighbor)法即K最邻近法，最初由Cover和Hart于1968年提出，是最简单的机器学习算法之一

算法思路简单直观：分类问题：如果一个样本在特征空间中的K个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，KNN是分类算法

二：KNN原理

如左图所示，根据K近邻，可以得出右图，则判定不确定的(绿小点)大概率为蓝色三角形 

举个例子，帮助小明决定是否去看球赛，(特征：天气、价格)

天气	价格	结果
晴天	300	去
雨天	250	不去
晴天	500	不去
雨天	100	去
阴天	250	去

 也可以使用K近邻，决定是否去看球赛，如下图所示

由K近邻，大概率分析结果为，去看球赛 

KNN原理 距离计算

欧式距离

二维空间两个点的欧式距离计算公式如下，KNN分类也可根据公式来计算

但是，小明看球赛，除了天气、价格，还会有如是否有朋友陪伴，是否有喜欢的球星等其他的特征数据，因此，公式需要改进，多维空间公式如下

三：KNN超参数

KNN超参数-K

K近邻算法，邻近的点的数的设置，是可以改变的，也会相应地得到不同的结果

如k=3时，小绿点大概率为蓝色小三角；

如k=5时，小绿点大概率为红色小圆点 

 KNN超参数-weight权重/p明可夫斯基距离

KNN 多类别分类

四：KNN算法选择

优点：

1.数据没有假设，准确度高，对异常点不敏感

2.理论成熟，思想简单

缺点：

1.当样本数据偏移的时候会导致分类失败

2.计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点 

如下，博主测试了鸢尾花分类模型预测[超参调优示例]