KNN方法既可以做分类,也可以做回归
KNN算法的三要素是k值的选取,距离度量的方式和分类决策规则
选择较小的k值会减小误差
KNN算法之KD树实现原理:KD树算法第一步是建树,第二部是搜索最近邻,最后一步是预测
构建kd树的具体步骤为:
1)找到划分的特征
2)确定划分点(7,2)。
3)确定左子空间和右子空间。
4)用同样的办法划分左子树的节点{(2,3),(5,4),(4,7)}和右子树的节点{(9,6),(8,1)}。
KD树搜索最近邻:
以目标点为圆心,以目标点到叶子节点样本实例的距离为半径,得到一个超球体,最近邻的点一定在这个超球体内部。
KD树预测:
在KD树搜索最近邻的基础上,我们选择到了第一个最近邻样本,就把它置为已选。在第二轮中,我们忽略置为已选的样本,重新选择最近邻,这样跑k次,就得到了目标的K个最近邻,然后根据多数表决法,如果是KNN分类,预测为K个最近邻里面有最多类别数的类别。如果是KNN回归,用K个最近邻样本输出的平均值作为回归预测值。