【机器学习】K邻近算法

 K邻近算法原理（K：近邻的个数）

可用于分类或回归

•  分类（近朱者赤近墨者黑）

 对于k邻近算法来讲，新数据点离谁最近，就和谁属于同一类。

如果在模型训练的过程中选的最邻近数为1，很可能这个数据恰好是一个错误数据，因此，需要增加最近邻的数量，比如把最邻近数增加到3，如果与新数据点距离最近的这3个点中有两个点是蓝色点，那新数据点也被分到蓝色类别中。

•  回归

K邻近算法用于回归的原理与分类相同，当我们用K邻近算法回归计算某个数据点的预测值时，模型会选择离该数据点最近的若干个训练数据集中的点，并将它们的y值取平均值，并将该平均值作为新数据点的预测值。

  K邻近算法原理

k近邻法三要素：距离度量、k值的选择、分类决策规则

• 距离度量

• k值的选择 

k值过大，容易欠拟合；k值过小，模型更复杂&#x