本文详细介绍了K近邻（KNN）算法，包括距离公式、模型原理、K值选择及其分类决策规则。重点讲解了kd树的构造和搜索过程，说明了kd树在降低KNN计算复杂度中的作用。文中还提及了使用kd树的KNN实现以及在实际应用中的效果评估。
参考文献：李航.统计学习方法[M].北京:清华大学出版社,2018.
该部分笔记全部总结自这本书。
KDT这部分代码我是参考自一个GitHub上面开源代码，找不到那个帖子了，再看到的时候再回来补超链接吧。
文章目录
3.K近邻
3.1 距离公式
欧式距离、马氏距离、闵式距离、曼哈顿距离等。
距离公式在这里已经总结过了：距離公式大全！傳送門在這裏，點擊这里！
3.2 模型
3.2.1 原理
对于输入的测试集，每个实例点周围的近邻点的分类是确定的，根据所确定的k值，将K个近邻点组成一个单元（cell），在每个cell中，比例大的那部分点的属性决定该实例点的属性。
3.2.2 距离度量
L p ( x i , x j ) = ( ∑ l = 1 n ∣ x i ( l ) − x j ( l ) ∣ p ) 1 p L_p(x_i,x_j)=(\sum_{l=1}^n |x_i^{(l)} - x_j^{(l)}|^p)^\frac1p Lp(xi,xj)=(l=1∑n∣xi(l)−
最低0.47元/天 解锁文章
545
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
