K 近邻算法

1.  根据事先确定的距离度量公式（如：欧氏距离 ），得出待分类数据点和所有已知类别的样本点中，距离最近的k个样本。

2.  统计这k个样本点中，各个类别的数量。

 

下图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

 

K 值的选择会对算法的结果产生重大影响。

 

点 x = (x1,...,xn) 和 y =(y1,...,yn) 之间的距离为

如果需要归一化，则必须归一化