kNN简介

k临近(k-Nearest Neighbor)学习，是一种常用的监督学习方法

特点

优点：精度高、对异常之不敏感、无数据输入假定
缺点：计算复杂度高、空间复杂度高
使用数据范围：数值型和标称型

说明

k-NN没有显示的学习过程，是一lazy learning的代表，因为它有了数据集后没有所谓的“训练阶段”，并不首先对数据集中的样本进行处理和学习。

原理

存在由许多样本构成的数据集，包括许多特征值及其向量还有标签和标签值：

    样本数据集（training set）：{features:x, labels:y}

这样样本空间的维度就是features的个数，然后每个training sample就在样本空间中有一个对应坐标（向量）和其对应的label
给定测试样本t，只包含features信息，我们用某种方法计算出测试t和所有training sample的距离，将距离按照远近排序，然后选择所有距离中离得最近的前k个“邻居”,用前k个邻居的标签进行投票，哪个标签票数最高就认为测试样本t就属于该标签。

def classify0(inX, dataSet, labels, k):