《统计学习方法》读书笔记第3章：K近邻法

第三章:k近邻法

k近邻法（k-nearest neighbor， k-NN）于1968年由Cover和Hart提出，是一种基本分类与回归方法。当做分类预测时，一般采用多数表决的策略，做回归时一般采用平均值法决策。对于分类问题，k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，属于监督学习。KNN算法实际上利用训练数据集对特征空间进行划分，并作为其分类的“模型”，不具有显式的学习过程。K近邻法的特殊情况是 $k=1$ 时，层位最近邻算法。对于输入的实例点（特征向量）$x$, 最近邻法将训练数据集中与 $x$ 最近邻点的类作为 $x$ 的类。

k近邻法描述

K近邻法简单，直观：给定一个训练数据集，对新的输入实例，在训练数据集总找到与该实例最近邻的 $k$ 个实例，根据这 $k$ 个实例的多数属于某个类，就把该输入实例分为这个类。K近邻法可总结如下：
输入：训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\{ (x_1,y_1),(x_2,y_2), \dotsc ,(x_N,y_N) \} T={ (x1​,y1​),(x2​,y2​),…,(xN​,yN​)}
其中，$x_i\in X\subseteq R^n$ 为实例的特征向量， y i ∈ Y = { c 1 , c 2 , … , c K } y_i \in Y=\{ c_1,c_2, \dotsc,c_K \} yi​∈Y={ c1​,c2​,…,cK​} 为实例的类别，$i=1,2,\dots ,N$ ；
输出：实例 $x$ 所属的类 $y$

1. 根据给定的距离度量，在训练集 $T$ 中找出与 $x$ 最近邻的 $k$ 个点，涵盖这 $k$ 个点的 $x$ 的领域记作 $N_k(x)$；
2. 在 $N_k(x)$ 中根据分类决策规则(如多数表决)决定 $x$ 的类别 $y$:
   $$y=argma{x}_{c_j}\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,\dots ,N;j=1,2,\dots ,K$$
   其中，$I$ 为指示函数。

K近邻模型

K近邻法使用的模型实际上对应于特征空间的划分。其模型由距离度量、$k$值选择和分类决策规则三大要素决定

距离度量

特征空间中两个实例点的距离是两个实例点相似程度的反映。K近邻模型的特征空间一般是 $n$ 维实数向量空间 $R_n$。设特征空间$X$是 $n$ 维实数向量空间 $R_n$，$x_i,x_j\in X$，$x_i=(x_i^1,x^{}$