KNN算法

KNN算法

kNN是一个基本而简单的分类算法，作为监督学习，那么KNN模型需要的是有标签的训练数据，对于新样本的类别由与新样本距离最近的k个训练样本点按照分类决策规则决定。

k近邻法（k-nearest neighbor, kNN）是一种基本的分类与回归方法；是一种基于有标签训练数据的模型；是一种监督学习算法。

基本做法的三个要点是：
第一，确定距离度量；
第二，k值的选择（找出训练集中与带估计点最靠近的k个实例点）；
第三，分类决策规则。

• 在 分类 任务中可使用“投票法”，即选择这k个实例中出现最多的标记类别作为预测结果；
• 在 回归 任务中可使用“平均法”，即将这k个实例的实值输出标记的平均值作为预测结果；
• 还可基于距离远近进行加权平均或加权投票，距离越近的实例权重越大。

代码实现

回归算法实现