k近邻的学习

        K近邻法（k-nearest neightbor, K-NN）是一种基本分类与回归的方法。K近邻法的输入为实例的特征向量，对应于特征空间的点，输出为类别，可以是二类，也可以是多类。对给定的实例，根据给定的一个训练集的K个最近邻的类别来多数表决来进行预测。K近邻法不具有显示的学习过程， 而是通过训练数据对特征空间的划分来作为模型，实现判别。是一种判别模型。对于K近邻而言，最重要的三个要素：k的选择，距离的度量以及分类决策规则。

        我有时觉得人真的是一个很聪明的物种，各类的方法都能想到，而且，你会感觉到很奇妙，利用训练数据对空间进行了划分，然后对于在空间中的点，利用邻近的K个值的多数的取值，然后就代表了这个点，amazing!

         当k为1时，即为最近邻算法。

         k近邻法中，当训练集，距离度量，K，分类决策规则确定之后，对于空间的划分就确定了，也就是对于任何一个输入实例，他所属的类唯一的确定。

         特征空间中，对每个训练实例点，距离该点比其他点更近的所有的点组成一个区域，也就是单元，单元组成了对特征空间的一个划分。

         距离的度量，一般与向量范数联系起来，欧式距离（Euclidean distance）就是向量2范数，曼哈顿距离（Manhattan distance）就是向量1范数，无穷范数。

           k的选择，若果k选择比较小的情况下，也就是用较小的邻域来对实例进行预测，所以对