K-邻近算法

一.k-邻近算法概述

k近邻算法(KDD)采用测量不同特征值之间的距离方法进行分类。

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型和标称型。

k近邻法模型采用基于特征空间的划分，由距离度量、k值选择、分类决策规则决定。

距离度量：两个实例点相似程度的反映。可以使用欧式距离或者其他距离（Manhattan distance、Minkowski distance）

k值选择：k值对算法产生重大影响，k小，过拟合；k大，模型过于简单。（考虑k=1和k=N两种极端情况）

二.KNN算法

1.伪代码

对未知类编属性的数据集中每个点依次执行一下操作：

(1)计算已知类别数据集中点与当前点之间的距离（采用欧式距离公式:）

(2)按照距离递增次序排列

(3)选取与当前点距离最小的k个点

(4)确定前k个点所在类别出现的频率

(5)返回前k个点出现频率最高的类别作为当前点的预测分类。