统计学习方法|K近邻法

1.k近邻算法

  k近邻算法简单、直观给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类.下面先叙述k近邻算法，然后再讨论其细节。

1.1k近邻算法

  近邻法的特殊情况:k=1情形，称为最近邻算法.对于输入的实例点(特征向量)$x$,最近邻法将训练数据集中与$x$最邻近点的类作为$x$的类。

1.2k近邻模型

  k近邻法使用的模型实际上对应于对特征空间的划分.模型由三个基本要素——距离度量、k值的选择和分类决策规则决定。
  k近邻法中， 当训练集、距离度量(如欧氏距离)、k值及分类决策规则(如多数表决)确定后，对于任何一个新的输入实例，它所属的类唯一的确定.这相当于根据上述要素将特征空间划分为一些子空间，确定子空间里的每个点所属的类，这一事实从最近邻算法中可以看得很清楚。
  特征空间中，对每个训练实例点$x_i$，距离该点比其他点更近的所有点组成个区域，叫作单元 (ce11)。 每个训练实例点拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分.最近邻法将实例