邻近取样算法

一、最邻近规则分类KNN算法

    1、输入基于实例的学习，即懒惰学习

    2、算法步骤

        选择参数K

        计算未知实例与所有已知实例的距离

        选择最近的K个已知实例

        根据少数服从多数的投票法则，让未知实例归类为K个最邻近样本中最多次的类别

    3、细节

        K的选择：K的值（1,3,5,7等必须为奇数个点）通过实际的实验测试来进行参数的优化看哪个参数优化程度最高。

        关于距离的衡量方法：Euclidean Distance 定义，即是两点之间的距离

        

        其余距离的衡量：余弦值，相关度，曼哈顿距离（即X走多少Y走多少）

 

    4、该算法的优缺点：

        优点：简单，易于理解，容易实现，通过对K的选择可以一定程度去除噪声干扰

        缺点：需要大量存储空间，当其中样本分布不平衡，比如其中一类的样本过大占主导的时候，新的未知实例容易被归类为这个主导样本，

 

 

    5、改进版本

        考虑距离，根据距离加上权重

        比如：1/d（d：距离）