knn算法原理

已知n个向量和这n个向量所属的类别，
输入一个未知类别的新向量。
计算新向量与已知n个向量的距离，
将这些距离按照从小到大的顺序排序。
取前k个距离，其中出现次数最多的类别就是新向量的类别。

2020年12月8日更新

总结起来，给定一个预测目标，接下来计算预测目标和所有样本之间的距离或者相似度，然后选择距离最近的前K个样本，然后通过这些样本来投票决策。

K值当然对算法是有影响的，所以也是KNN里最为重要的一个参数。

一般对于二分类问题来说，把K设置为奇数是容易防止平局的现象。但对于多分类来说，设置为奇数未必一定能够防平局。

random_state就像随机生成器中的seed。通过不同的值采样的训练数据和测试数据是不一样的。设定一个固定的random_state有助于诊断程序本身，因为每次所期待的结果都会一样。