Chap3:K近邻
1. K近邻算法
- k近邻法(k-nearest neighbor, KNN)是一种基本的分类与回归方法,在这里我们只讨论分类问题中的K近邻。
- k近邻法假设给定的一个数据集,其中的实例类别已定。分类时,对于新的实例,跟据其K个最近邻的训练实例的类别,通过多数表决等方式进行预测。
- 特别的,我们将k=1的特殊情形成为最近邻算法
2. K近邻模型
k近邻法主要包括三个基本要素:K值选择,距离度量以及分类决策规则。
特征空间中,对于每个训练实例 x i x_i xi,距离该点比其他点更近的所有点所组成的一个区域叫做单元(cell)。每个训练实例拥有一个单元,所有训练实例的单元构成对特征空间的一个划分
2.1 距离度量
特征空间中两个实例点的距离是两个点相似度的度量方式。
L p L_p L