K近邻算法原理及实现（Python）

本文主要来自李航老师的《统计学习方法》。

算法

k近邻是一种常用的分类与回归算法，其原理比较简单：

---

• 输入：训练集$\mathbb{T}=\{(\mathbf{x}_1, y_1), (\mathbf{x}_2, y_2), \dots, (\mathbf{x}_n, y_n)\}$; 待分类样本$\mathbf{x'}$；设定好的最近邻个数$k$
• 输出：$\mathbf{x'}$的类别标签

• 算法：

  1. 搜索训练集训练集$\mathbb{T}$，根据给定的距离度量（如欧式距离），找出与$\mathbf{x'}$距离最近的$k$个点，并把涵盖这些点的领域记为 Nk(x