西瓜书_chapter10_降维与度量学习

10.1 k近邻学习(kNN)

给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后根据这k个邻居的信息进行预测
与前边的学习方法相比，kNN没有显式的训练过程，只有拿到测试样本以后才进行处理，我们将其称为懒惰学习(lazy learning)，而哪些再训练阶段就对样本进行处理的方法叫做急切学习(eager learning)
给定测试样本$x$，若其最近邻样本为$z$，则最近邻分类器出错的概率是二者类别不同的概率，我们假设两个样本独立同分布
$$\begin{array}{rl}P(err)& =1-\sum _{c\in Y}P(c|x)P(c|z)\\ & \simeq 1-\sum _{c\in Y}{P}^2(c|x)\\ & \le 1-P^2(c^{\ast }|x)\\ & =(1+P)(1-P)\\ & \le 2\times (1-P(c^{\ast }|x))\end{array}$$
其中,$P(c^{\ast }|x)$表示贝叶斯最优分类器的结果。这表明最近邻分类器虽然简单，但是它泛化错误率不超过贝叶斯最优分类器的两倍

10.2 低维嵌入

我们首先介绍多维缩放算法(Multiple Dimensional Scaling,MDS)。
假定$m$个样本再原始空间的距离矩阵为$D\in {\mathbb{R}}^{m\times m}$，其中的元素$dis{t}_{ij}$为样本$x_i$到$x_j$的距离。我们的目标是获得样本在$d^{\prime }$维空间的表示$\mathbf{Z}\in {\mathbb{R}}^{d^{\prime }\times m},d^{\prime }\le d$，且任意两个样本在$d^{\prime }$维空间中的距离等于原始空间中的距离
我们令$\mathbf{B}={\mathbf{Z}}^T\mathbf{Z}\in {\mathbb{R}}^{m\times m}$，为降维后的内积矩阵，$b_{ij}=z_i^T{z}_j$，则有
$$dis{t}_{ij}^2=b_{ii}+b_{jj}-2b_{ij}$$
为了便于讨论，我们令降维后的样本$\mathbf{Z}$被中心化，即${\sum }_{i=1}^m{z}_i=0$，矩阵$\mathbf{B}$的行与列之和均为0，那么有
$$\begin{gathered} \sum _{i=1}^{m}dis{t}_{ij}^2=tr(\mathbf{B})+m{b}_{jj} \\ \sum _{j=1}^{m}dis{t}_{ij}^2=tr(\mathbf{B})+m{b}_{ii} \\ \sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2=2mtr(\mathbf{B}) \end{gathered}$$
在此基础之上
d i s t i ⋅ 2 = 1 m ∑ j = 1 m d i s t i j 2 d i s t ⋅ j 2 = 1 m ∑ i = 1 m d i s t i j 2 d i s t ⋅ ⋅ 2 = 1 m 2 d i s t i j 2 dist_{i·}^2=\frac{1}{m}\sum_{j=1}^{m}dist_{ij}^2\\ dist_{·j}^2=\frac{1}{m}\sum_{i=1}^{m}dist_{ij}^2 \\ dist_{··}^2=\frac{1}{m^2}dist_{ij}^2 disti⋅2​=m1​j=1∑m​distij2​dist<