【李航统计学】Chap3：K近邻（总结+代码实现+课后题）

1. K近邻算法

• k近邻法(k-nearest neighbor, KNN)是一种基本的分类与回归方法，在这里我们只讨论分类问题中的K近邻。
• k近邻法假设给定的一个数据集，其中的实例类别已定。分类时，对于新的实例，跟据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。
• 特别的，我们将k=1的特殊情形成为最近邻算法

2. K近邻模型

k近邻法主要包括三个基本要素：K值选择，距离度量以及分类决策规则。
特征空间中，对于每个训练实例$x_i$，距离该点比其他点更近的所有点所组成的一个区域叫做单元（cell）。每个训练实例拥有一个单元，所有训练实例的单元构成对特征空间的一个划分

2.1 距离度量

特征空间中两个实例点的距离是两个点相似度的度量方式。
L p L_p L