jianqimingtian的博客

对于回归任务，该算法计算 K 个最近邻的值 y 的平均值或加权平均值，并将其分配为 x 的预测值。然后，数据点的类或值由 K 个邻居的多数票或平均值确定。– 根据 KNN 算法的工作原理，它将所有数据存储在内存存储中，因此每当添加新示例或数据点时，算法都会根据该新示例进行自我调整，并对未来的预测做出贡献。K 最近邻 （KNN） 算法根据相似性原理运行，它通过考虑训练数据集中 K 个最近邻的标签或值来预测新数据点的标签或值。在回归问题中，类标签是通过取 K 个最近邻的目标值的平均值来计算的。

如果我们将上述数据集提供给基于 kNN 的分类器，则分类器将声明查询点属于类 0。在加权 kNN 中，使用称为核函数的函数为最近的 k 个点指定权重。加权 kNN 背后的直觉是给附近的点更多的权重，给较远的点更少的权重。任何函数都可以用作加权 knn 分类器的核函数，其值随着距离的增加而减小。如果 k 太大，则邻域可能包含来自其他类的太多点。最简单的方法是进行多数投票，但如果最近邻的距离相差很大，并且最近的邻更可靠地指示对象的类，则这可能是一个问题。考虑 0 作为类 0 的标签，1 作为类 1 的标签。