KNN算法

K-近邻算法

看，这个男人叫小帅，他目前正在入门机器学习领域，刚上手碰到了ML中的基础算法：K-近邻算法。

一、算法概述

k-近邻算法（k-Nearest Neighbour algorithm），又称为KNN算法。大体的工作原理为：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

二、步骤总结

1）计算测试数据与各个训练数据之间的距离；

2）按照距离的递增关系进行排序；

3）选取距离最小的K个点；

4）确定前K个点所在类别的出现频率；

5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

三、注意事项

1、这里，如果某一属性的数值比较大导致了差值比较大，这时候就需要用到归一化来进行处理，常用的归一化有0-1标准化、Z-score标准化、Sigmoid压缩法等。
2、距离的定义，在这里，通常使用的是欧氏距离，当然也可以尝试其它距离，比如曼哈顿距离。
3、k值得选取要适宜，具体k值需自行调整。