机器学习实战——KNN算法

k近邻算法的原理

k 近邻算法的工作机制非常简单:对给定的测试样本，基于某种距离度量找出训练集中与其最靠近的 k 个训练样本，然后基于这 k 个"邻居"的信息来进行预测。通常， 在分类任务中可使用"投票法" ，即选择这 k 个样本中出现最多的类别标记作为预测结果；在回归任务中时使用"平均法" ，即将这k 个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。k 的取值不同，其分类结果会发生变化。为了提高运算的效率，常利用 kd 树对其进行优化。

Python代码的遇到的问题

《机器学习实战》中的代码是基于py2编写的，py3中有部分变化，全书的py3代码链接为：机器学习实战python3的GitHub地址，代码中有几个包和函数没有使用过，因此对其用法进行记录。

1. operator:内置的操作符函数，其中的 itemgetter（获取指定位置的阈）
2. tile：numpy包中的函数，函数格式tile(A,reps)，A和reps都是array_like，A的类型众多，几乎所有类型都可以：array, list, tuple, dict, matrix以及基本数据类型int,string, float以及bool类型。reps的类型也很多，可以是tuple，list, dict, array, int, bool.但不可以是float, string, matrix类型。

np.tile([1,2],2)
Out[2]: array([1, 2, 1, 2])

np.tile([1,