machine learning Knn算法 最邻近规则取样（一）

1.1Cover和Hart在1968年提出的最邻近算法
1.2分类（classification）算法
1.3输入基于实例的学习（instance-based learning），懒惰学习（lazy learning）

3.算法详述
3.1步骤
为了判断未知实例的类别，以所有一直类别的实例作为参照（将每个训练样本转为立体的坐标）
选择参数k（个数）
计算未知实例于所有已知实例的距离
选择k个已知实例
根据少数服从多数的投票法则（majority-voting），让未知实例归类为K个最邻近样本中最多数的类别
3.2细节
关于k
关于距离的衡量方法
3.2.1Euclidean Distance定义
其他距离衡量：余弦值（cos），相关度（correlation），曼哈顿距离（Manhattan distance）
4、算法优缺点
简单，易于理解，容易实现，通过对K的选择可具备噪音数据的健壮性
需要大量空间储存所有已知实例
算法复杂度高（需要比较所有已知实例与要分类的实例），当其样本分布不平衡时，比如其中一类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归类为这个主导样本，因为这类样本实例的数量过大，但这个新的未知实例实际并不接近目标样本

5、改进版本
考虑距离，根据距离加上权重