k-NN

k邻算法选择 k=1时，称为最近邻算法。此时，每个样本组成一个邻域，训练误差为0。 一般来说，训练误差时预测误差的一个over estimation。所以通常需要一个测试误差来衡量算法的performance。 那么测试误差会是多少呢？ 通常会比随机猜测要高。

k= 1 时，算法是比较敏感的，一般有三个方法进行改进：

1、选择  k>1  （k 选择合适的话，错误率会比k=1时要低，但是k选择过大，错误率会升高。通常使用交叉检验的方法选择k）

2、选择更好的距离度量。

欧式距离对平移、形变、旋转等很敏感，所有应用场景有限。如果使用k-nn计算两个图像之间的距离，可能shape content是更好的选择。

3、选择更好的特征。

特征选择需要专业知识，太多的无关特征不是对准确率没有提升，而是降低了算法的准确率。

 

一般的k-nn 算法非常慢，幸运的是python 库中有 加速算法  ，比如locality sensitive hashing, Ball -trees, d-k trees。