以后文章就不再强调三要素(模型、策略、算法),而是直接上最新鲜的部分。
1)k的选择
2)距离的度量
3)k临近法的实现:kd树
3.1)kd树的构造
3.2)kd树的搜索
1)k的选择
一般初始化为比较小的值,用交叉验证判断哪一个值更好。
2)距离的度量
我们更常用的是欧氏距离,即p=2。
3)k临近法的实现:kd树
k临近法的实现主要考虑如何快速地进行k临近搜索。最简单的注意扫描计算距离并找到最小的k个距离点太耗时,此处给出kd树方法。
k-d树(k-dimensional树的简称),是一种对k维空间(注意,k不是k个邻居的意思)中的实例点进行存储以便对其进行快速搜索的二叉树结构。
假设有6个二维数据点{&#