KNN原理及python实现(kd树)

最新推荐文章于 2021-01-15 03:11:59 发布
最新推荐文章于 2021-01-15 03:11:59 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： 机器学习算法原理与编程实践 文章标签： matlab 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36612847/article/details/74280634
版权
  • 前面说的话

觉得自己完全看懂和做出来是两回事，希望自己可以坚持将机器学习算法基本都复现出来，并有时间进行时间空间复杂度的优化，用matlab梳理完思路后有时间再用python写一遍，毕竟我是一个厉害的小女子哈哈哈。
如果你阅读我的文章有什么疑问，或是任何学术讨论，欢迎和我交流：shitianqi1994@163.com

  • k近邻法原理

训练集是很多有特征有label的数据，当送进来一个没有label的数据需要判断时，选训练集中k个和这个数据最相似的数据，再将这k个数据的label以某种规则赋值给这个测试数据（比如规则为出现最多的label）。

这里的“相似“就是用距离进行度量。（欧式距离，曼哈顿距离等等）使用不同的距离确定的最近邻点是不同的，最后得到的label肯定也是不同的。

所以我们可以总结出，knn算法的三个基本要素是：

  1. k值的选取
  2. 距离的度量方式
  3. 分类决策规则

当这三个要素确定之后，模型完全确定，对于任何一个新的输入实例，它所属的类唯一确定。

k值的选择
k值的选取对knn的结果造成了较大的影响，如果k取的很小，那么只有和测试数据非常近的数据才能对结果产生影响，对近邻数据点非常敏感，但是如果此时近邻数据是噪声，那么就会造成过拟合。
也就是说，k值越小，建立的模型越复杂，越容易发生过拟合，k值越大，建立的模型越简单，即会选择性地丢掉一些信息，k值最大就是选取整个训练数据集中数据个数N，这时不管测试数据是什么都会被判定为训练数据集中最多label 的那个（假设决策规则是少数服从多数原则），这时的模型过于简单，完全没有考虑到值得考虑的因素。

在实际中，k一般取一个比较小的数值，通常采用交叉验证法来选取最优的k值。

  • k近邻法的实现：kd树

kd树的构建和搜索
这篇博文写的非常清楚。

  • 使用kd树结构完成knn算法matlab实现
一头特立独行的猪
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python实现kd树
qq_35565669的博客
06-17 2266
参考链接：https://www.cnblogs.com/pinard/p/6061661.html?utm_source=itdadao&utm_medium=referral KD树建树采用的是从m个样本的n维特征中，分别计算n个特征的取值的方差，用方差最大的第k维特征nknk来作为根节点。对于这个特征，我们选择特征nknk的取值的中位数nkvnkv对应的样本作为划分点，对于所有第k维特征的取值小于nkvnkv的样本，我们划入左子树，对于第k维特征的取值大于等于nkvnkv的样本，我们划入右.
KNN算法，KD树建立与搜索python实现
10-10
以下是使用Python实现KNN算法和KD树的基本步骤： 1. **数据准备**：首先，我们需要导入必要的库，如numpy、pandas和scikit-learn。然后，加载数据集，将数据分为特征（X）和目标变量（y）。 2. **构建KD树**：使用...
kd树的实现(python)
a1158375969的专栏
10-09 737
当前的实现针对的是二维空间, 代码可运行 T = np.array([(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)]) #T = np.array([(3,3),(2,2),(1,2)]) #plt.scatter(T[:,0], T[:,1])def crt_tree(T, i): if len(T)==1: return Node(T[0])
KNN python实现
ZHO9504的博客
12-20 224
参考网址：https://my.oschina.net/fengcunhan/blog/101281 http://www.cnblogs.com/geniferology/p/what_is_kNN_algorithm.html   kNN 的算法就是： 在已知的 data points 中，逐一点检视（把這每一點叫作 P）： 1、首先计算「？」和 P 之间的距离 2、所有距离计算之后...
KNN Python实现
weixin_30537391的博客
01-09 140
KNN Python实现 ''' k近邻（kNN）算法的工作机制比较简单，根据某种距离测度找出距离给定待测样本距离最小的k个训练样本，根据k个训练样本进行预测。 分类问题：k个点中出现频率最高的类别作为待测样本的类别 回归问题：通常以k个训练样本的平均值作为待测样本的预测值 kNN模型三要素：距离测度、k值的选择、分类或回归决策方式 ''' import numpy as...
knn python实现
anthea_luo的博客
07-01 477
knn原理请见：https://www.cnblogs.com/pinard/p/6061661.htmlhttps://zhuanlan.zhihu.com/p/22345658?refer=hgjjsms在特征和样本数量较小时，可以直接计算距离；数量大时就不行了，要在学习的过程中建树，具体上面两组文章中都有试着写一下 直接计算距离时的代码：import randomimport numpy a...
Python语言描述KNN算法与Kd树
09-21
在Python中，可以使用`scikit-learn`库实现KNN算法，其中`sklearn.neighbors.KNeighborsClassifier`或`sklearn.neighbors.KNeighborsRegressor`提供了完整的KNN实现，包括Kd树的使用。例如： ```python from ...
python K近邻算法的kd树实现
09-20
在Python中，我们可以自己实现kd树，如上述代码片段所示，或者使用scikit-learn库中的`KDTree`类，它提供了构建和查询kd树的功能。在查询阶段，kd树可以快速找到最近邻，显著提高了KNN的计算速度，尤其是在大数据集...
KNN算法Python实现代码.zip
04-03
- 使用kd树、球树等数据结构来加速距离计算。 - 降维处理，如主成分分析（PCA）减少特征数量。 - 选择合适的K值，过大过小都可能影响分类效果。 - 使用加权投票，距离更近的邻居赋予更高的权重。 以上就是关于KNN...
KNN的python实现
HumorousJack
09-19 445
KNN的原理就是取最近的k个点，然后将类别最多的作为预测类别，原来简单，代码也很简单
kNN(python实现)
02-19
kNN(python实现)http://blog.csdn.net/u011067360/article/details/45937327
KD树改进的K近邻算法的python实现
03-16
包含 基本的KNN算法的python实现 与 KD树的构建与使用 以及结合KD树的KNN算法，在提取K个最近邻值时采用了大顶堆。 内含每个函数的详细注释，并有一组测试data，经测试程序完善可用
python实现KNN算法
01-19
python实现的KNN算法（K近邻算法），充实后可用于实现计算机图形学里的图像分类
Knn的python实现
zju2016的博客
04-02 281
python实现knn 运行的结果为 实现代码如下：import numpy as np import pickle as pic import heapq as hp from collections import Counter class Solution: path_train='' train_data=[] train_label=[] test_
KD树原理
wanghai00的博客
03-06 3789
原文网址:http://blog.csdn.net/qll125596718/article/details/8426458KNN缺点实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索，这点在特征空间的维数大以及训练数据容量大时尤其重要。k近邻法的最简单实现是线性扫描，这时要计算输入实例与每一个训练实例的距离，当训练集很大时，计算非常耗时，这种方法是不可行的。为了提高k近邻搜索的效率，
knn python_KNN Python实现
weixin_39630735的博客
01-15 112
'''k近邻(kNN)算法的工作机制比较简单，根据某种距离测度找出距离给定待测样本距离最小的k个训练样本，根据k个训练样本进行预测。分类问题：k个点中出现频率最高的类别作为待测样本的类别回归问题：通常以k个训练样本的平均值作为待测样本的预测值kNN模型三要素：距离测度、k值的选择、分类或回归决策方式'''importnumpy as npclassKNNClassfier(object):def ...
KNN算法的Python实现
Bob Liu的程序人生
11-16 927
邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。本文使用Numpy相关函数实现KNN核心算法。
kd树与knnpython代码
最新发布
04-01
以下是一个简单的KD树和KNN算法的Python代码实现： ``` import numpy as np class KDTree: def __init__(self, data): self.k = data.shape[1] self.data = data self.left = None self.right = None self.split_dim = None self.split_value = None self.build() def build(self): if self.data.shape[0] == 0: return self.split_dim = np.argmax(np.var(self.data, axis=0)) self.split_value = np.median(self.data[:, self.split_dim]) left_data = self.data[self.data[:, self.split_dim] < self.split_value] right_data = self.data[self.data[:, self.split_dim] >= self.split_value] self.left = KDTree(left_data) self.right = KDTree(right_data) def search_knn(self, point, k): heap = [] self._search_knn(point, k, heap) return [h[1] for h in heap] def _search_knn(self, point, k, heap): if self.data is None: return dist = np.linalg.norm(point - self.data) if len(heap) < k: heap.append((dist, self.data)) heap.sort(key=lambda x: x[0]) elif dist < heap[-1][0]: heap[-1] = (dist, self.data) heap.sort(key=lambda x: x[0]) if self.left is None and self.right is None: return if point[self.split_dim] < self.split_value: self.left._search_knn(point, k, heap) if point[self.split_dim] + heap[-1][0] >= self.split_value: self.right._search_knn(point, k, heap) else: self.right._search_knn(point, k, heap) if point[self.split_dim] - heap[-1][0] < self.split_value: self.left._search_knn(point, k, heap) # 使用示例 data = np.random.rand(50, 2) tree = KDTree(data) point = np.array([0.5, 0.5]) k = 5 knn = tree.search_knn(point, k) print(knn) ``` 以上代码实现了一个简单的KD树和KNN算法，可以用于查找数据集中与给定点最近的k个点。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值