【概要】k近邻

K近邻算法（K-Nearest Neighbors, KNN）是一种基于实例的监督学习算法，用于分类和回归任务。它的基本思想是：对于一个待分类或待预测的数据点，通过找到其在特征空间中最接近的 $K$ 个邻居，利用这些邻居的标签来决定该数据点的类别或值。

核心概念：

1. 工作原理：

   • 分类任务：对于一个新的样本，KNN算法会计算它与训练集中所有样本的距离（通常使用欧几里得距离），然后选择距离最小的 $K$ 个邻居。根据这 $K$ 个邻居所属的类别，通过多数投票（majority voting）来决定新样本的类别。
   • 回归任务：KNN回归与分类类似，不同的是，预测值是 $K$ 个邻居的目标变量的平均值或加权平均值。

2. 距离度量：

   • KNN通常使用欧几里得距离来衡量样本之间的相似度：
     $$\text{Euclidean distance}=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$$
     其中，$x_i$ 和 $y_i$ 是两个样本的特征值，$n$ 是特征的维度。
   • 也可以使用其他距离度量，如曼哈顿距离、余弦相似度等，具体取决于问题的需求。

3. 超参数：K值：

   • $K$ 是KNN算法中的关键超参数，表示在做出预测时考虑的邻居数量。小的 $K$ 值可能导致模型对噪声过于敏感，产生过拟合；大的 $K$ 值可能使得模型过于平滑，产生欠拟合。因此，选择合适的 $K$ 值至关重要。

4. 加权KNN：

   • 在标准KNN中，每个邻居的贡献是相同的，但在加权KNN中，距离较近的邻居会对预测结果产生更大的影响，通常使用距离的倒数作为权重。

算法步骤：

1. 计算距离：对于每个待预测样本，计算其与训练集所有样本的距离。
2. 选取最近邻居：根据计算得到的距离，选出距离最近的 $K$ 个邻居。
3. 做出预测：
   • 对于分类问题，采用多数投票的方式来决定类别。
   • 对于回归问题，取这 $K$ 个邻居目标值的平均值或加权平均值作为预测结果。

优缺点：

• 优点：

  • 简单直观：KNN算法非常简单，易于理解和实现。
  • 无训练过程：KNN属于懒惰学习算法，不需要显式的训练阶段，直接在测试阶段进行计算。
  • 适应性强：KNN可以处理多类别分类问题，也可以进行回归任务。

• 缺点：

  • 计算开销大：KNN需要计算每个测试样本与所有训练样本的距离，计算复杂度较高，尤其在训练集较大的时候，效率较低。
  • 高维数据问题：在高维数据中，KNN的性能会受到影响，因为维度的增加会导致维度灾难（即特征空间过于稀疏）。
  • 对噪声敏感：KNN对数据中的噪声和异常值比较敏感，因为其预测结果完全依赖于邻居的标签。

选择合适的K值：

• 过小的K值：如果 $K$ 设得过小，模型可能会对噪声敏感，导致过拟合。
• 过大的K值：如果 $K$ 设得过大，模型可能会过于平滑，导致欠拟合。
• 通过交叉验证等方法可以选择最合适的 $K$ 值。

应用场景：

• 分类任务：如垃圾邮件检测、人脸识别、疾病诊断等。
• 回归任务：如房价预测、股票价格预测等。
• 推荐系统：如电影推荐、商品推荐等，基于用户的相似性进行推荐。

总结：

KNN是一种简单且直观的机器学习算法，适合用于小数据集的分类和回归任务，但在处理大规模数据集时，计算效率较低。在使用时需要注意距离度量的选择和超参数 $K$ 的设定。