K近邻法（k-nearest neighbor, KNN）

K近邻法（k-nearest neighbor, KNN）是一种基本分类和回归算法。对于分类问题，其输入为样本的特征向量，输出为样本的类别，可以是多类别；对于回归问题，输出是一个实值。分类时，对于新的无label实例，根据其 k 个最近邻的训练实例的类别，通过多数表决等方式进行预测。k 值的选择、距离度量以及分类决策规则是 k 近邻法的三要素。

一、距离度量

常用的距离有：

欧氏距离：$L_2(x_i,x_j)=\sqrt{\sum _{i=1}^m|{x_i}^{(s)}-{x_j}^{(s)}{|}^2}$

曼哈顿距离：$L_1(x_i,x_j)=\sum _{i=1}^m|{x_i}^{(s)}-{x_j}^{(s)}|$

二、k 值的选择

k 值会对结果产生重大的影响，如果选择较小的 k 值，模型会比较复杂，近似误差很小，预测误差很大，容易过拟合；如果选择较大的 k 值，模型会比较简单，可以减少预测误差，但近似误差会增大，通常需要使用交叉验证来确定 K 的大小。

三、算法步骤

对未知类别的数据集合中的每一个点执行以下操作：

• 计算已知类别数据集（训练集）中的点与当前点的距离；
• 将距离按照递增顺序排列；
• 选取距离最小的 k 个点；
• 确定这k个点的所属类别，计算各类别出现的概率；
• 将概率最大的类别作为当前点的类别；

关于 KNN 实战的例子见链接。