KNN算法小结

• KNN(k-NearestNeighbor)K最邻近分类算法。最简单的机器学习算法之一。KNN是用于对于区域或者重叠较多的样本分类，判断该样本属于哪一类
• 思路：如果一个样本在特征空间中的K个最喜相似（即特征空间中最相邻）的样本中的大多数属于某一类，则该样本也属于这个类别。其中所选择的的邻居都是都是已经正确分类的对象。该方法的在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分类样本所属的类别。

• 流程：

1. 准备数据
2. 先用合适的数据结构存储训练数据和测试元组
3. 设定参数k
4. 维护一个大小为k的按距离由大到小的优先级队列,用于存储最近邻训练元组。随机从训练元组中选取k个元组作为初始元组，分别计算测试元祖到这k个元组的距离，将训练元组标号和离别存入优先级队列
5. 遍历训练元组集，计算当前训练元组与测试元组的距离，将所得距离L与优先级队列汇总的最大距离max进行比较，若L>max，则舍弃该院组，遍历下一个元组。若L<max，删除优先级队列中的最大距离的元组，将当前训练的元组存入优先级队列。
6. 遍历结束，计算优先级队列中k个元组的多数类，并将其作为测试元祖的类别。
7. 测试元组集测试完毕后计算误差率，继续设定不同的k只进行重新训练，最后取误差率最凶案的k值