统计学习方法第三章 k近邻法

第三章 k近邻法

• 只讨论分类问题的k近邻法

• k近邻三个基本要素：

  1. k值选择
  2. 距离度量
  3. 分类决策规则

k近邻算法

• 算法 3.1 ( k 近邻法)
输入: 训练数据集
  T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } = { ( x i , y i ) } i = 1 N \begin{aligned} T& = \left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} \\ & = \left\{ (x_i,y_i)\right\}_{i=1}^N \end{aligned} T​={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}={(xi​,yi​)}i=1N​​
  其中中, $x_i\in \mathcal{X}\subseteq {\mathrm{R}}^n$ 为实例的特征向量, y i ∈ Y = { c 1 , c 2 , ⋯   , c K } y_{i} \in \mathcal{Y}=\left\{c_{1}, c_{2}, \cdots, c_{K}\right\} yi​∈Y={c1​,c2​,⋯,cK​} 为实例的类别, $i=1,2,\cdots ,N$; 实例特征向量 $x$;
  输出: 实例 $x$ 所属的类 $y$ 。
  (1) 根据给定的距离度量, 在训练集 $T$ 中找出与 $x$ 最邻近的 $k$ 个点,当k等于1时候叫最近邻, 涵盖这 $k$ 个 点的 $x$ 的邻域记作 $N_k(x)$;
  (2) 在 $N_k(x)$ 中根据分类决策规则 (如多数表决) 决定 $x$ 的类别 $y$ :
  $$y=\arg \underset{c_j}{\max }\sum _{x_i\in N_k(x)}I\left(y_i=c_j\right),i=1,2,\cdots ,N;j=1,2,\cdots ,K$$
  其中，$I$ 为指示函数/失性函数（indicator function）
  $$I\left(y_i=c_j\right)=\{\begin{array}{rl}1,if{y}_i& =c_j\\ 0,if{y}_i& \ne c_j\end{array}$$

---

k近邻模型的距离划分

• k近邻方法没有显示的模型形式，与感知机的分离超平面不同

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VpUjJMxZ-1659022513532)(https://cdn.mathpix.com/snip/images/XT4ehkO9xMyjrMbB_3TAwq2p3dFrLumDpobWUUA-YYQ.original.fullsize.png)]

  特征空间中，对每个实例点$x_i$,距离该点比其他点近的所有点组成一个区域，叫做单元，每个训练实例点拥有一个单元，所有训练实例蒂娜的单元构成对特征空间的一个划分。

• 距离度量

  $k$ 近邻模型的特征 空间一般是 $n$ 维实数向量空间 ${\mathbf{R}}^n$ 。使用的距离是欧氏距离, 但也可以是其他距离, 如 更一般的 $L_p$ 距离（ $L_p$ distance）或 Minkowski 距离 (Minkowski distance)。
  设特征空间 $\mathcal{X}$ 是 $n$ 维实数向量空间 ${\mathrm{R}}^n,x_i,x_j\in \mathcal{X},x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^{\mathrm{T}}$, $x_j={\left(x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(n)}\right)}^{\mathrm{T}},x_i,x_j$ 的 $L_p$ 距离定义为
  $$L_p\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^p\right)}^{\frac{1}{p}}$$
  其中：
  $$\begin{array}{rl}p& =1,城市街区距离L_1范数L_1\left(x_i,x_j\right)=\sum _{l=1}^n\left|x_i^{(l)}-x_j^{(l)}\right|\\ p& =2,欧几里得距离L_2范数L_2\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^2\right)}^{\frac{1}{2}}\\ p& =\infty ,最大距离L_{\infty }范数L_{\infty }\left(x_i,x_j\right)=\underset{i}{\max }|x_i^{(l)}-x_j^{(l)}|\end{array}$$

---

k值的选择

• k值选择会对k近邻算法产生重大影响

  1. 若选择较小k值：（过拟合）

     优点：学习的近似误差 $\downarrow$

     缺点：学习的估计误差 $\uparrow$

     k值减小意味着整体模型变得复杂，容易发生过拟合

  2. 若选择较大k值：（欠拟合）

     优点：学习的估计误差 $\downarrow$

     缺点：学习的近似误差 $\uparrow$

     k值增大意味着整体模型变得简单，容易发生欠拟合

  3. 若k=N：

     模型过于简单，完全忽略了训练实例中大量有用信息，不可取

• 一般采用交叉验证法来选取最优k值

---

k近邻分类决策规则

• 多数表决（majority voting rule）

  如果分类的损失函数为 0-1 损 失函数, 分类函数为以下多分类
  f : R n → { c 1 , c 2 , ⋯   , c K } f: \mathbf{R}^{n} \rightarrow\left\{c_{1}, c_{2}, \cdots, c_{K}\right\} f:Rn→{c1​,c2​,⋯,cK​}
  那么误分类的概率是
  $$P(Y\ne f(X))=1-P(Y=f(X))$$
  对给定的实例 $x\in \mathcal{X}$, 其最近邻的 $k$ 个训练实例点构成集合 $N_k(x)$ 。如果涵盖 $N_k(x)$ 的区域的类别是 $c_j$, 那么误分类率是
  $$\frac{1}{k}\sum _{x_i\in N_k(x)}I\left(y_i\ne c_j\right)=1-\frac{1}{k}\sum _{x_i\in N_k(x)}I\left(y_i=c_j\right)$$
  其中：$y_i$ 表示真实类别，$C_j$ 表示判别类别

  要使误分类率最小即经验风险最小, 就要使 ${\sum }_{x_i\in N_k(x)}I\left(y_i=c_j\right)$ 最大, 所以多数表决规 则等价于经验风险最小化。

---