风中摇曳的小萝卜（机器学习）笔记 k近邻法

1.选3个最近的点
2.少数服从多数
3.未知就属于多数

确定参考点数量k等于1的话，最近的点就是A点，未知圆将定义为A。

kd树：

第一步：取出x中位数4节点，让4节点作为根节点

第二步：分成两个空间过后在左边的空间中取出y的中位数为1结点。将1结点作为左子树。将上下两个节点分别以y的大小分为1的左右子树。

第三步：以此类推完成右子树。若还有额外的样本则继续以x为基准继续划分。

  

第四步：比较待测样本从根节点开始划分样本。划分至叶子结点处。

第五步：以到叶子结点处的距离为半径画圆。然后使用回溯算法遍历kd树。

   

回溯算法：从节点2的父节点到节点1然后更新最小半径，接着查找另一个叶子节点3，再更新最小距离。然后接着回溯到根节点计算与查找范围相交的节点找到最近的。

视频小结