java knn kd树_KNN算法和KD树

KNN算法和KD树

KNN算法的思路非常简单，对于新的样本，找出距其最近的k个样本，再根据这k个样本的类别，通过多数投票的方式预测新样本的类别。k近邻算法没有学习或训练过程。但k近邻算法仍有很多值得关注的地方，比如超参数k值的选择、距离的度量方式、决策规则以及快速检索k近邻的算法(kd树等)。

1. KNN算法的三要素

KNN算法的流程非常简单，确定一个KNN算法，明确下来三个基本要素即可。即k值的选择、距离的度量方式和决策规则。

1.1 k值的选择

在KNN算法中k值即表示对于一个新的样本，从训练集中选择和新样本距离最近的k个样本，用这k个样本决定新样本的类别。k值作为一个超参数，很慢明确给出一个合适的值，k取的过大或过小都会导致算法误差增大。一般可以采用留取验证集的方式确定k值的大小。即选择使得验证集准确率最高的k值。

1.2 距离度量方式

计算样本之间的距离时，有不同的距离计算方式，常用是欧式距离，也可以采用更一般的LpLp距离。LpLp距离：Lp(xi,xj)=(∑nk∣∣xki−xkj∣∣p)1pLp(xi,xj)=(∑kn|xik−xjk|p)1p

欧式距离是LpLp距离的特殊情况，即p=2p=2时：欧式距离：L2(xi,xj)=∑nk∣∣xki−xkj∣∣2−−−−−−−−−−−√L2(xi,xj)=∑kn|xik−xjk|2

另外，还有曼哈顿距离(也称之为街区距离)，也是LpLp距离的特殊情况，即p=1p=1时的情况。曼哈顿距离：L1(xi,xj)=∑nk∣∣xki−xkj∣∣L1(xi,xj)=∑kn|xik−xjk|

若