K近邻（KNN）算法详解

K近邻（KNN）算法详解

简介

K近邻（K-Nearest Neighbors, KNN）是一种简单且直观的监督学习算法，常用于分类和回归任务。KNN的基本思想是，对于一个新的样本，通过计算其与训练集中所有样本的距离，找出距离最近的K个邻居，并根据这些邻居的信息进行预测。

KNN模型

KNN模型的基本过程如下：

1. 计算距离：对于每个测试样本，计算它与所有训练样本之间的距离。常用的距离度量包括欧氏距离、曼哈顿距离和闵可夫斯基距离。
2. 找出K个最近邻居：根据距离从小到大排序，找出距离最近的K个训练样本。
3. 进行预测：
   • 对于分类任务：选择K个最近邻居中出现次数最多的类别作为预测结果（多数投票法）。
   • 对于回归任务：选择K个最近邻居的平均值作为预测结果。

距离度量

常用的距离度量包括：

• 欧氏距离（Euclidean Distance）：

[ d(x, y) = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2} ]

• 曼哈顿距离（Manhattan Distance）：

[ d(x, y) = \sum_{i=1}^{n} |