KNN算法

KNN方法既可以做分类，也可以做回归
KNN算法的三要素是k值的选取，距离度量的方式和分类决策规则
选择较小的k值会减小误差
KNN算法之KD树实现原理：KD树算法第一步是建树，第二部是搜索最近邻，最后一步是预测

构建kd树的具体步骤为：　　　　
1）找到划分的特征
2）确定划分点（7,2）。　
3）确定左子空间和右子空间。
4）用同样的办法划分左子树的节点{(2,3),(5,4),(4,7)}和右子树的节点{(9,6)，(8,1)}。
KD树搜索最近邻：
以目标点为圆心，以目标点到叶子节点样本实例的距离为半径，得到一个超球体，最近邻的点一定在这个超球体内部。
KD树预测：　　　
在KD树搜索最近邻的基础上，我们选择到了第一个最近邻样本，就把它置为已选。在第二轮中，我们忽略置为已选的样本，重新选择最近邻，这样跑k次，就得到了目标的K个最近邻，然后根据多数表决法，如果是KNN分类，预测为K个最近邻里面有最多类别数的类别。如果是KNN回归，用K个最近邻样本输出的平均值作为回归预测值。