k-近邻算法小结

k-近邻算法采用测量不同特征值之间的距离方法进行分类

优点： 精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

适用数据范围： 数值型、标称型

工作原理： 存在一个训练样本集，每个数据都存在标签，即我们知道样本中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本中数据对应的特征进行比较，然后算法提取样本集中特征的最相似数据（最近邻）的分类标签。一般我们只选择样本数据集中的前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

k-近邻算法的一般流程：

（1）数据收集：可以使用任何方法

（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式

（3）分析数据：可以使用任何方法

（4）训练数据：此步驟不适用于k近邻算法

（5）测试算法：计算错误率

（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行女-近邻算法判定输

入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

k-近邻算法小结：

      k-近邻算法是分类数据 最简单最有效的算法，本章通过两个例子讲述了如何使用 k-近邻算法

构造分类器。k-近邻算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数

据。k-近邻算法 必须保存全部数据集，如果训练数据集的很大，必须 使用大量的存储空间。此外,

由于必须对数据集中的每个数据计算距离值，实际使用时可能 非常耗时。

       k-近邻算法的另一个缺陷是它 无法给出任何数据的 基础结构信息，因此我们也无法知晓平均

实例样本和典型实例样本具有什么特征。