k-近邻算法(k-nn)

开发机器学习算法的一般步骤：

1：收集数据；2：整理数据；3：分析数据；4：训练数据；5：测试数据；6：使用算法；

knn是基于有监督的分类算法；

knn优点：

           简单有效，精度高，对异常值不敏感；无数据输入假设； 适合对稀有事件进行分类；.特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好

缺点：计算复杂度高，空间复杂度高（因为需要保存所有的的数据集，用于计算预测数据到它们的距离），十分耗时；

            无法给出任何数据的基础结构信息；

         当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数

核心思想：

      如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近K个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

Java实现knn：http://blog.csdn.net/xiaojimanman/article/details/51064307