KNN理解

KNN（K-近邻）理解

最为机器学习中的一种简单算法，这里只做简单介绍。具体的自行查阅其他资料。

基本思想：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

所需注意点：

l  数据属性的度量单位不同，所以我们需要对数据映射到统一尺度，即归一化。其中归一化分为最值归一化和方差归一化，一般使用方差归一化；

l  计算复杂度高，当训练数据比较多时，速度慢，而且结果不具有可解释性；

l  思想简单，实现容易，在多分类上效果较好。