【机器学习第10章——降维与度量学习】

10.降维与度量学习

10.1 k近邻学习

给定测试样本x，若其最近邻样本为z，则最近邻分类器出错的概率就是x与z类别标记不同的概率，即
$$P(err)=1-\sum _{c\in y}P(c|x)P(c|z)$$
贝叶斯最优分类器的结果表示为
$$c^{\ast }=\arg \underset{c\in y}{\max }P(c|x)$$

$$\begin{gathered} P(err)=1-\sum _{c\in y}P(c|x)P(c|z) \\ \approx 1-\sum _{c\in y}{P}^2(c|x) \\ \le 1-P^2(c^{\ast }|x) \\ =[1+P(c^{\ast }|x)][1-P(c^{\ast }|x)] \\ \le 2\times [1-P(c^{\ast }|x)]1-P(c^{\ast }|x)a为贝叶斯最优分类器的错误率 \end{gathered}$$

可以得出k近邻的错误率不超过贝叶斯最优分类器错误率的两倍

• K近邻算法存在的问题

  • 问题一:近邻间的距离会被大量的不相关属性所支配。
    • 应用k-近邻算法的一个实践问题是，实例间的距离是根据实例的所有属性（也就是包含实例的欧氏空间的所有坐标轴）计算的
  • 解决方法:当计算两个实例间的距离时对每个属性加权。
    • 这相当于按比例缩放欧氏空间中的坐标轴，缩短对应于不太相关属性的坐标轴，拉长对应于更相关的属性的坐标轴。每个坐标轴应伸展的数量可以通过交叉验证的方法自动决定。
  • 问题二:K-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外，由于必须对数据集中的每个数据计算距离值,实际使用时可能非常耗时
  • 问题三:在训练数据集中要求的观测值的数目，随着维数k的增长以指数方式增长。这是因为和最近邻的期望距离随着维数k的增多而急剧上升，除非训练数据集的大小随着k以指数方式增长。
  • 解决方法:当计算两个实例间的距离时对每个属性加权。
    • 通过降维技术来减少维数，如主成分分析，因子分析，变量选择（因子选择）从而减少计算距离的时间

• 降维的动机

  • 原始观察空间中的样本具有极大的信息冗余
  • 样本的高维数引发分类器设计的“维数灾难“
  • 数据可视化（MATLAB的tsne函数：数据降维可视化）、特征提取、分类与聚类等任务需求

10.2 低维嵌入(MDS)

• ·在高维情形下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为维数灾难。

• 缓解维数灾难的一个重要途径是降维，亦称为维数约简，即通过某种数学变换将原始高维属性空间转变为一个低维子空间。在这个子空间中样本密度大幅提高，距离计算也更为容易。

• 若要求原始空间中样本之间的距离在低维空间中得以保持，即多维缩放。

• MDS是一种非监督的维数约简方法.
• MDS的基本思想:约简后低维空间中任意两点间的距离应该与它们在原高维空间中的距离相同.
• MDS的求解:通过适当定义准则函数来体现在低维空间中对高维距离的重建误差,对准则函数用梯度下降法求解,L对于某些特殊的距离可以推导出解析解法.

假定m个样本在原始空间的距离矩阵
$$D\in R^{m\times m}$$
其第i行j列的元素
$$dis{t}_{ij}为样本x_i到x_j的距离$$
我们的目标是获得样本在d’维空间的表示
$$D\in R^{d^{\prime }\times m},d^{\prime }\le d$$
且任意两个样本在d’维空间中的欧式距离等于原始空间中的距离，即
$$||z_i-z_j||=dis{t}_{ij}$$
令
$$B=Z^{T}Z\in R^{m\times m}$$
其中B为降维后样本的内积矩阵，里面的每一个元素表示第i个样本和第j个样本之间的距离
$$\begin{gathered} b_{ij}=z_i^T{z}_j, \\ \therefore dis{t}_{ij}^2=||z_i|{|}^2+||z_j|{|}^2-2z_i^T{z}_j=z_i^T{z}_i+z_j^T{z}_j-2z_i^T{z}_j \\ =b_{ii}+b_{jj}-2b_{ij}(10.3) \end{gathered}$$
为便于讨论,令降维后的样本Z被中心化（矩阵B的行与列之和均为零）
$$\sum _{i=1}^m{b}_{ij}=\sum _{j=1}^m{b}_{ij}=0$$
可得
$$\sum _{i=1}^{m}dis{t}_{ij}^2=tr(B)+m{b}_{jj}(10.4)$$

$$\sum _{j=1}^{m}dis{t}_{ij}^2=tr(B)+m{b}_{ii}(10.5)$$

$$\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2=2mtr(B)(10.6)$$

我们将上述式子简化表示
$$dis{t}_{i\cdot }^2=\frac{1}{m}\sum _{j=1}^{m}dis{t}_{ij}^2(10.7)$$

$$dis{t}_{\cdot j}^2=\frac{1}{m}\sum _{i=1}^{m}dis{t}_{ij}^2(10.8)$$

$$dis{t}_{\cdot \cdot }^2=\frac{1}{m^2}\sum _{i=1}^m\sum _{j=1}^{m}dis{t}_{ij}^2(10.9)$$

通过上式合并可得
$$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{\cdot j}^2+dis{t}_{\cdot \cdot }^2)$$
由此即可通过降维前后保持不变的距离矩阵D求取内积矩阵B

对矩阵B做特征值分解
$$\begin{gathered} B=\mathrm{V}\mathrm{\Lambda }{\mathrm{V}}^{\mathrm{T}} \\ \mathrm{\Lambda }=\mathrm{diag}({\lambda }_1,{\lambda }_2,...,{\lambda }_{\mathrm{d}})\mathrm{为特征值构成的对角矩阵} \\ {\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_{\mathrm{d}} \\ \mathrm{V}\mathrm{为特征向量矩阵} \end{gathered}$$
假定其中有
$$d^{\ast }$$
个非零特征值，它们构成对角矩阵
$${\Lambda }_{\ast }=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_d\ast )$$
令
$${\mathrm{V}}_{\ast }$$
表示相应的特征向量矩阵，则Z可表达为
$$Z={\Lambda }_{\ast }^{\frac{1}{2}}{\Lambda }_{\ast }^T\in R^{d^{\ast }\times m}(10.11)$$
在现实应用中为了有效降维,往往仅需降维后的距离与原始空间中的距离尽可能接近,而不必严格相等。此时可取
$$d^{\prime }<<d$$
个最大特征值构成对角矩阵
$$\tilde{\Lambda }=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_{d^{\prime }})$$
令
$$\tilde{\mathrm{V}}$$
表示相应的特征向量矩阵，则Z可表达为
$$Z={\tilde{\Lambda }}^{\frac{1}{2}}{\tilde{\Lambda }}^T\in R^{d^{\prime }\times m}(10.12)$$

• （1）MDS降维条件

  • 保持原始空间样本之间的距离和低维空间中的距离相等。这是MDS降维方法的前提和条件，但是在实际的应用中，在本文后面的分析中会发现，我们并不会保证样本之间距离在降维前后保持百分之百不变，而是使得降维前后样本距离大致一致。

• (2) MDS降维步骤

  • Step1：对原始数据做归一化预处理。

    对原始数据进行归一化后，保证所有属性的数据点全部落在[0,1]区间内，这样方便后面MDS算法处理。

    for a=1:p
    	max_val=max(data(:,a));
    	min_val=min(data(:,a));
    	range=max_val-min_val;
    	for b=1:n
    		data(b,a)=(data(b,a)-min_val)/range;
        end
    end
    

  • Step2：首先需要计算每个样本之间的欧氏距离

    使用两层for循环，对原始数据样本分别进行行和列遍历，最后得m个样本在原始空间的距离矩阵
    $$D\in R^{m\times m}$$
    现在我们的目标是获得样本在d’维空间中的表示
    $$D\in R^{d^{\prime }\times m}$$
    其中d’<=d，并且两个样本在d’维空间中的欧氏距离等于原始空间中的距离。

    D=zeros(n,n);
    for i=1:m
    	for j=1:m
    		temp=0;
    		for k=1:d
    			temp=temp+(data(i,k)-data(j,k))^2;
            end
            D(i,j)=sqrt(temp);
        end
    end
    

  • Step3：计算降维后样本的内积矩阵B

    首先构造矩阵
    $$B=Z^{T}Z\in R^{m\times m}$$
    其中Z是step2中表示的降维后的样本矩阵。经过一系列的推导过程，最后我们能够得到如下的计算公式：
    $$b_{ij}=-\frac{1}{2}(dis{t}_{ij}^2-dis{t}_{i\cdot }^2-dis{t}_{\cdot j}^2+dis{t}_{\cdot \cdot }^2)$$
    根据这个公式，我们就能够计算出矩阵B中每一个元素的值。

    B=zeros(n,n);
    for i=1:n
    	for j=1:n
    		B(i,j)=-0.5*(D(i,j)^2-1/n*D(i,:)*D(i,:)'-1/n*D(:,j)'*D(:,j)+1/n^2*sum( sum(D.^2)));
    	end
    end
    

  • Step4：对上述矩阵内积矩阵B做特征值分解

    对step3中得到的矩阵B做特征值分解
    $$\begin{gathered} B=\mathrm{V}\mathrm{\Lambda }{\mathrm{V}}^{\mathrm{T}} \\ \mathrm{\Lambda }=\mathrm{diag}({\lambda }_1,{\lambda }_2,...,{\lambda }_{\mathrm{d}})\mathrm{为特征值构成的对角矩阵} \\ {\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_{\mathrm{d}} \\ \mathrm{V}\mathrm{为特征向量矩阵} \end{gathered}$$
    如果特征值中有
    $$d^{\ast }$$
    个非零特征值，那么我们将得到如下计算Z矩阵的表达式：
    $$Z={\Lambda }_{\ast }^{\frac{1}{2}}{\Lambda }_{\ast }^T\in R^{d^{\ast }\times m}(10.11)$$
    在该式中，矩阵Z的每一列表示一个样本，每一行表示降维后在d’空间内的一个维度，由于d’<=d,因此也就达到了降维的目的。后续的分析中，我们只需要修改d’的值，就可以将原数据样本降维到我们想要的维度了。

    [V A]=eig(B);
    num=3;
    Z=V(:,1:num)*A(1:num,1:num).^(1/2);
    

  • Step5：对降维后的数据进行可视化

    scatter3(z(:,1),z(:,2),z(∶,3));
    xlabel('dimension 1');
    ylabel('dimension 2');
    zlabel('dimension 3');
    

    为了能够对降维后的数据进行可视化，因此可以选择降到2维或者降到3维。

10.3 主成分分析(PCA)

• 主成分分析(PCA)是最常用的一种降维方法。
• 对于正交属性空间中的样本点，如何用一个超平面(直线的高维推广)对所有的样本进行恰当的表达?
• 应该具有两个性质:
  • 最近重构性:样本点到这个超平面的距离足够近
  • 最大可分性:样本点在这个超平面上的投影能尽可能分开

最近重构性

假定数据样本进行了中心化,即
$$\sum _i{x}_i=0$$
再假定投影变换后得到的新坐标系为
{ w 1 , w 2 , . . . , w d } w i 是标准正交基向量 ∣ ∣ w i ∣ ∣ 2 = 1 , w i T w j = 0 ( i ≠ j ) \{w_1,w_2,...,w_d\}\\ w_i是标准正交基向量\\ ||w_i||_2=1,w_i^Tw_j=0(i≠j) {w1​,w2​,...,wd​}wi​是标准正交基向量∣∣wi​∣∣2​=1,wiT​wj​=0(i=j)
注：在一个向量空间中，一组向量如果彼此之间正交（即任意两个不同的向量的点积为零），则这组向量称为正交基。当这些正交基向量的长度都为1时，它们被称为标准正交基向量。即，标准正交基向量不仅正交，而且单位化。

若丢弃新坐标系中的部分坐标,即将维度降低到d’<d,则样本点
$$x_i$$
在低维坐标系中的投影是
$$\begin{gathered} z_i=(z_{i1};z_{i2};...;z_{i{d}^{\prime }}) \\ {z}_{ij}=w_j^T{x}_i是x_i在低维坐标系下第j维的坐标 \end{gathered}$$
若基于
$$z_i$$
来重构
$$x_i$$
则会得到
$${\hat{x}}_i=\sum _{j=1}^{d^{\prime }}{z}_{ij}{w}_j$$
考虑整个训练集,原样本点
$$x_i$$
与基于投影重构的样本点
$${\hat{x}}_i$$
之间的距离为
$$\sum _{i=1}^m\left|\right|\sum _{j=1}^{d^{\prime }}{z}_{ij}{w}_j-x_i|{|}_2^2=\sum _{i=1}^m{z}_i^T{z}_i-2\sum _{i=1}^m{z}_i^T{\mathrm{W}}^{\mathrm{T}}{x}_i+const$$

$$\propto -tr\left(\mathrm{W}{}^T\right(\sum _{i=1}^m{x}_i{x}_i^T\left)\mathrm{W}\right)(10.14)$$

根据最近重构性，式(10.14)应被最小化，考虑到
$$\begin{gathered} w_j是标准正交基 \\ \sum _i{x}_i{x}_i^T是协方差矩阵 \end{gathered}$$
有
$$\underset{\mathrm{W}}{\min }-tr({\mathrm{W}}^{\mathrm{T}}\mathrm{X}{\mathrm{X}}^{\mathrm{T}}\mathrm{W})s.t.{\mathrm{W}}^{\mathrm{T}}\mathrm{W}=\mathrm{I}(10.15)$$
这就是主成分分析的优化目标.

最大可分性

从最大可分性出发,能得到主成分分析的另一种解释．我们知道,样本点
$$x_i$$
在新空间中超平面上的投影是
$${\mathrm{W}}^{\mathrm{T}}{x}_i$$
若所有样本点的投影能尽可能分开，则应该使投影后样本点的方差最大化,如图10.4所示。

投影后样本点的方差是
$$\sum _i\mathrm{W}{}^T{x}_i{x}_i^T\mathrm{W}$$
于是优化目标可写为
$$\underset{\mathrm{W}}{\max }tr({\mathrm{W}}^{\mathrm{T}}\mathrm{X}{\mathrm{X}}^{\mathrm{T}}\mathrm{W})s.t.{\mathrm{W}}^{\mathrm{T}}\mathrm{W}=\mathrm{I}(10.16)$$
显然,式(10.16)与(10.15)等价.

对式(10.15)或(10.16)使用拉格朗日乘子法可得
$$\mathrm{X}{\mathrm{X}}^{\mathrm{T}}\mathrm{W}=\lambda \mathrm{W}(10.17)$$
于是，只需对协方差矩阵
$${\mathrm{XX}}^{\mathrm{T}}$$
进行特征值分解，将求得的特征值排序:
$${\lambda }_1\ge {\lambda }_2\ge ...\ge {\lambda }_d$$
再取前d’个特征值对应的特征向量构成
$$\mathrm{W}=(w_1,w_2,...,w_{d^{\prime }})$$
这就是主成分分析的解，PCA算法描述如图10.5所示。

降维后低维空间的维数d’通常是由用户事先指定,或通过在d’值不同的低维空间中对k近邻分类器(或其他开销较小的学习器)进行交叉验证来选取较好的d’值。对PCA，还可从重构的角度设置一个重构阈值,例如t=95%,然后选取使下式成立的最小d’值:
$$\frac{{\sum }_{i=1}^{d^{\prime }}{\lambda }_i}{{\sum }_{i=1}^d{\lambda }_i}\ge t(10.18)$$
PCA仅需保留W与样本的均值向量即可通过简单的向量减法和矩阵-向量乘法将新样本投影至低维空间中．显然,低维空间与原始高维空间必有不同,因为对应于最小的d-d’个特征值的特征向量被舍弃了,这是降维导致的结果.但舍弃这部分信息往往是必要的:一方面,舍弃这部分信息之后能使样本的采样密度增大,这正是降维的重要动机;另一方面,当数据受到噪声影响时,最小的特征值所对应的特征向量往往与噪声有关,将它们舍弃能在一定程度上起到去噪的效果.

PCA算法描述

• 输入:样本集
  D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={x1​,x2​,...,xm​}
  和低维样本空间数

• 过程:

  • 对所有样本进行中心化：
    $$x_i=x_i-\frac{1}{m}\sum _{i=1}^m{x}_i$$

  • 计算样本的协方差矩阵
    $$X^{T}X$$

  • 对协方差矩阵做特征值分解

  • 取最大的d’个特征值所对应的特征向量
    $$w_1,w_2,...,w_{d^{\prime }}$$

• 输出投影矩阵
  W ∗ = { w 1 , w 2 , . . . , w d ′ } W^*=\{w_1,w_2,...,w_{d'}\} W∗={w1​,w2​,...,wd′​}

10.5 流形学习

• 什么是流形?
  • 流形是线性子空间（向量子空间）（包含零向量，具有加法和乘法封闭性）的一种非线性推广
  • 拓扑学角度:局部区域线性，与低维欧式空间拓扑同胚
  • 微分几何角度:有重叠图表的光滑过渡
  • 黎曼流形就是以光滑的方式在每一点的切空间上指定了欧氏内积的微分流形

• 流形的数学定义

  • 设M是一个Hausdorff拓扑空间，若对每一点
    $$p\in M$$
    都有P的一个开邻域U和
    $$R^d$$
    的一个开子集同胚，则称M为d维拓扑流形,简称为d维流形

• 流形学习的目的

  • 流形学习是一种非线性的维数约简方法
  • 高维观察数据的变化模式本质是由少数几个隐含变量所决定的
    • 如:人脸采样由光线亮度、人与相机的距离、人的头部姿势、人的面部表情等因素决定
  • 从认知心理学的角度，心理学家认为人的认知过程是基于认知流形和拓扑连续性的

• 数学定义

  • 设
    $$\begin{gathered} Y\subset R^d是一个低维流形(降维后的数据) \\ f:Y\to R^D是一个光滑嵌入(原始数据) \end{gathered}$$
    其中 D>d。数据集
    { y i } \{y_i\} {yi​}
    是随机生成的,且经过f映射为观察空间的数据
    { x i = f ( y i ) } \{x_i=f(y_i)\} {xi​=f(yi​)}
    流形学习就是在给定观察样本集
    { x i } \{x_i\} {xi​}
    的条件下重构
    f 和 { y i } f和\{y_i\} f和{yi​}

方法简称	所保持的集合属性	全局/局部关系	计算复杂度
ISOMAP	点对测地距离	全局	非常高
LLE	局部线性重构关系	局部	低

10.5.1 等度量映射(Isomap)

• 保持全局测地距离
  • 测地距离反映数据在流形上的真实距离差异
• 等距映射
  • 基于线性算法MDS，采用“测地距离”作为数据差异度

• Isomap算法流程

  • 1计算每个点的近邻点(用K近邻或ε邻域).

  • 2在样本集上定义一个赋权无向图如果
    $$X_i和X_j$$
    互为近邻点,则边的权值为
    $$d_X(i,j)$$

  • 3计算图中两点间的最短距离,记所得的距离矩阵为
    D G = { d G ( i , j ) } . D_G=\{d_G(i,j)\}. DG​={dG​(i,j)}.

  • 4用MDS求低维嵌入坐标

    • 令
      $$S=(S_{ij})=(D_{ij}^2),H=(H_{ij})=({\delta }_{ij}-1/N),\tau (D)=-HSH/2$$
      低维嵌入是
      $$\tau (D)$$
      的第1大到第d大的特征值所对应的特征向量

• ISOMAP

  • 前提假设
    • 数据所在的低维流形与欧式空间的一个子集整体等距
    • 该欧式空间的子集是一个凸集
  • 思想核心
    • 较近点对之间的测地距离用欧式距离代替
    • 较远点对之间的测地距离用最短路径来逼近（Dijkstra和Floyd算法）
  • 算法特点
    • 适用于学习内部平坦的低维流形
    • 不适于学习有较大内在曲率的流形
    • 计算点对间的最短路径比较耗时

10.5.2 局部线性嵌入(LLE)

• LLE

  • 显式利用“局部线性”的假设
  • 保持局部邻域几何结构-重构权重
  • 权重对样本集的几何变换具有不变性
  • 前提假设
    • 采样数据所在的低维流形在局部是线性的
    • 每个采样点均可以利用其近邻样本进行线性重构表示
  • 学习目标
    • 低维空间中保持每个邻域中的重构权值不变
    • 在嵌入映射为局部线性的条件下，最小化重构误差
    • x_i最终形式化为特征值分解问题

• 算法流程

  • 计算每一个点
    $$x_i$$
    的近邻点(用K近邻或ε邻域).

  • 计算权值
    $$w_{ij}$$
    使得把
    $$x_i$$
    用它的K个近邻点线性表示的误差最小,即通过最小化
    $$||x_i-w_{ij}{x}_j||$$
    来求出
    $$W_{ij}$$

    $$\min \epsilon (w)=\sum _i\left|\right|x_i-\sum _j{w}_{ij}{x}_{ij}|{|}^2$$

  • 保持权值
    $$W_{ij}$$
    不变,求
    $$x_i$$
    在低维空间的象
    $$y_i$$
    使得低维重构误差最小.
    $$\min \varphi (Y)=\sum _i\left|\right|y_i-\sum _j{w}_{ij}{y}_{ij}|{|}^2$$

• 优点

  • 算法可以学习任意维的局部线性的低维流形
  • 算法归结为稀疏矩阵特征值计算，计算复杂度相对较小

• 缺点

  • 算法所学习的流形只能是不闭合的
  • 算法要求样本在流形上是稠密采样的
  • 算法对样本中的噪声和邻域参数比较敏感

10.6 度量学习

事实上，对高维数据进行降维的主要目的是希望能够在低维空间中更好的对距离进行度量，那为什么不尝试直接在高维中对数据进行度量呢？这就是度量学习的意义。

• 相似度度量
  • 机器学习的目的就是让机器具有类似于人类的学习、认识、理解事物的能力。计算机对大量的数据记录进行归纳和总结，发现数据中潜在的规律，给人们的生活带来便利。
  • 对数据记录和总结中常用到聚类算法。聚类算法就是按照对象间的相似性进行分组，因此如何描述对象间相似性是聚类的重要问题。
  • 刻画数据样本点之间的亲疏远近程度主要有以下两类函数：
    • 相似系数函数：两个样本点愈相似，则相似系数值愈接近1;样本点愈不相似，则相似系数值愈接近0。这样就可以使用相似系数值来刻画样本点性质的相似性。
    • 距离函数：可以把每个样本点看作高维空间中的一个点，进而使用某种距离来表示样本点之间的相似性，距离较近的样本点性质较相似，距离较远的样本点则差异较大。

主要相似度算法

欧氏距离

欧氏距离也称欧几里得距离，它是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。
$$dist(X,Y)=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$$
也可以用表示成向量运算的形式:
$$\begin{gathered} d_{12}=\sqrt{(a-b{)}^T(a-b)} \\ a,b为列向量 \end{gathered}$$

标准欧式距离

标准欧式距离：由于特征向量的各分量的量纲不一致(比如说身高和体重)，通常需要先对各分量进行标准化，使其与单位无关。假设样本集X的均值为m，标准差为s，那么X的“标准化变量”表示为:
$$X^{\ast }=\frac{X-m}{s}$$

加权欧式距离

加权欧式距离:在距离计算时，考虑各项具有不同的权重。i和j两点加权距离如下:
$$\begin{gathered} dist(X_i,Y_j)=\sum _{k=1}^n\sqrt{{\alpha }_k(x_{ik}-y_{jk}{)}^2},n为特征数量 \\ \sum _{i=1}^n{\alpha }_i=1 \end{gathered}$$
也可以用表示成向量运算的形式：
$$\begin{gathered} d_{12}=\sqrt{(X-Y{)}^{T}W(X-Y)} \\ X,Y为列向量,W为对角正定矩阵 \end{gathered}$$

• 比如说一个国家奥运金牌榜，可以表示为
  $$X_i=(x_{i1},x_{i2},x_{i3})(金牌数,银牌数,铜牌数)$$
  如果我们有两点间的欧式距离进行计算，相当于把金、银、铜牌所起的作用等同看待，这显然不合理，如果使用加权欧式进行计算，则两个国家的距离定义如下
  $$dist(X_i,Y_j)=\sqrt{{\alpha }_1(x_{i1}-y_{j1}{)}^2+{\alpha }_2(x_{i2}-y_{j2}{)}^2+{\alpha }_3(x_{i3}-y_{j3}{)}^2}$$

曼哈顿距离

曼哈顿距离：也称为城市街区距离，是一种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和:
$$dist(X,Y)=\sum _{i=1}^n|x_i-y_i|$$

闵可夫斯基距离

闵可夫斯基距离（闵氏距离）不是一种距离，而是一组距离的定义。闵氏距离是欧氏距离的推广，是对多个距离度量公式的概括性的表述。公式如下:
$$dist(X,Y)=(\sum _{i=1}^n|x_i-y_i{|}^p{)}^{\frac{1}{p}}$$
其中p是一个变参数

• 当p=1时，就是曼哈顿距离;

• 当p=2时，就是欧氏距离;

• 当p趋近无穷时，就是切比雪夫距离。

• 切比雪夫距离是由一致范数(或称为上确界范数）所衍生的度量，也是超凸度量的一种。在数学中，切比雪夫距离是向量空间中的一种度量，二个点之间的距离定义是其各坐标数值差的最大值。
  $$dist(X,Y)=\underset{p\to \infty }{\lim }(\sum _{i=1}^n|x_i-y_i{|}^p{)}^{\frac{1}{p}}=\max |x_i-y_i|$$

  • 例如，X（2,4），Y（1，6）
    $$dist(X,Y)=\max |2-1|,|4-6|=2$$

马氏距离

马氏距离（由加权欧式距离演变而来）：表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系，我们举个例子说明一下

• 在加权欧式距离所讲到的金、银和铜牌的例子中，我们假定奖牌的权重是不同的，金牌肯定更有含金量，那么它的权重也会稍微大一点，但是金、银、铜牌之间又是有关联的，比如铜牌数较少，可能金、银牌的数量也会相对较少
• 又比如对于一个人的身高体重来说，两者占据一定的权重比例，并且这之间是具有一定关联的

$$\begin{gathered} D(X,Y)=\sqrt{(X-Y{)}^T{\Sigma }^{-1}(X-Y)} \\ \Sigma 为协方差矩阵 \end{gathered}$$

如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧式距离,如果协方差矩阵为对角阵,则其也可称为正规化的欧氏距离。

汉明距离

汉明距离：两个等长字符串s1与s2之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。汉明距离就是表示X,Y取值不同的分量数目，只适用分量只取-1或1的情况。
$$D_h(X,Y)=\frac{1}{2}(n-\sum _{k=1}^n{x}_k\cdot y_k)$$
例如字符串“1111”与“1001”之间的汉明距离为
$$\begin{gathered} D=\frac{1}{2}[4-(1+(-1)+(-1)+1)]=2 \\ 注:需要把0看成-1进行计算 \end{gathered}$$

杰卡德相似系数和杰卡德距离

• 卡德距离:是与杰卡德相似系数相反的概念，杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。杰卡德距离可用如下公式表示:
  $$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$$

• 杰卡德相似系数:两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数,用符号J(A, B)表示。杰卡德相似系数是衡量两个集合的相似度一种指标。
  $$J_{\delta }(A,B)=1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|}$$

余弦相似度

余弦相似度：用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。
$$\cos (\theta )=\frac{a\cdot b}{|a||b|}$$

$$\cos (\theta )=\frac{{\sum }_{k=1}^n{x}_{1k}{x}_{2k}}{\sqrt{{\sum }_{k=1}^n{x}_{1k}^2}\sqrt{{\sum }_{k=1}^n{x}_{2k}^2}}$$

调整余弦相似度

• 余弦相似度更多的是从方向上区分差异，而对绝对的数值不敏感,因此没法衡量每个维度上数值的差异。需要修正这种不合理性，就出现了调整余弦相似度，即所有维度上的数值都减去一个均值。

  用户对内容按5分制进行评分

  • 用户X对内容A、B、C进行评分为(2,2,5)
  • 用户X对内容A、B、D进行评分为(4,5,3)

  这里需要注意的是用户X并没有对内容D进行评分，用户Y并没有对内容E进行评分，等会儿对皮尔森相似度的计算有用

  使用余弦相似度得到的结果
  $$\begin{gathered} \cos (X,Y)=\frac{2\times 4+2\times 5}{\sqrt{2^2+2^2+5^2}\cdot \sqrt{4^2+5^2+3^2}} \\ =\frac{8+10}{\sqrt{4+4+25}\cdot \sqrt{16+25+9}}=\frac{18}{\sqrt{33}\cdot \sqrt{50}}=0.443 \end{gathered}$$
  两者具有一定的相似性。但从评分上看，用户X似乎不太喜欢前两个内容，而Y则比较喜欢。

  此时X的评分均值为3，Y的评分均值为4，用调整余弦相似度计算
  $$\begin{gathered} \cos (X,Y)=\frac{(2-3)\cdot (4-4)+(2-3)\cdot (5-4)}{\sqrt{(2-3{)}^2+(2-3{)}^2+(5-3{)}^2}\cdot \sqrt{(4-4{)}^2+(5-4{)}^2+(3-4{)}^2}} \\ =-0.288 \end{gathered}$$
  相似度为负值并且差异不小,但显然更加符合现实。

皮尔森相似度

皮尔森相似度，和调整余弦相似度类似，只是计算在分母中有所调整，调整为两个个体所共同的集合，即
$$\begin{gathered} \cos (X,Y)=\frac{(2-3)\cdot (4-4)+(2-3)\cdot (5-4)}{\sqrt{(2-3{)}^2+(2-3{)}^2}\cdot \sqrt{(4-4{)}^2+(5-4{)}^2}} \\ =-0.707 \end{gathered}$$

斯皮尔曼相关性

斯皮尔曼相关性可以理解为是排列后用户喜好值之间的Pearson相关度。皮尔曼相关度的计算舍弃了一些重要信息，即真实的评分值。但它保留了用户喜好值的本质特性——排序，它是建立在排序(等级)的基础上计算的。

	描述	film1的排名	film2的排名	film3的排名
User1	User1对film1的评分为7 对film2的评分为8 对film3的评分为9	3	2	1
User2	User1对film1的评分为9 对film2的评分为4 对film3的评分为3	1	2	3
User3	User1对film1的评分为7 对film2和film3无评分	1

现有的大部分算法对图像进行特征提取后化为向量的表达形式，其本质是把每一幅用于训练的图像通过某种映射到欧氏空间的一个点，并利用欧氏空间的良好性质在其中进行学习器的训练。但定义图像特征之间的欧氏距离未必能很好反映出样本之间的相似。通过训练样本寻找一种能够合理描述当前样本相似度的距离度量能够大大提高学习器的性能。
度量学习是机器学习的一个重要分支，通过有标记样本或结合未标记样本，寻找一个能够在给定指标下最恰当刻画样本相似度的距离矩阵或距离函数。

近年来，距离度量学习已成为智能信息处理方面的一个研究热点，研究表明，距离度量学习能够大大提升了图像分类、图像匹配、及图像检索等工作的性能。

近邻成分分析(NCA)

需要用到上述提到的马氏距离（具体看上面）
$$dis{t}^2(x_i,x_j)=(x_i-x_j{)}^{T}M(x_i-x_j)=||x_i-x_j|{|}_M^2$$
也对原本的K近邻算法(KNN)进行调整，对于样本点
$$x_i$$
对它的领域中样本点
$$x_j$$
进行概率投票
$$\begin{gathered} p_{ij}=\frac{\exp (-||x_i-x_j|{|}_M^2)}{{\sum }_l\exp (-||x_i-x_l|{|}_M^2)} \\ {x}_i旁有l个邻居 \end{gathered}$$
能对样本点进行正确分类的概率为
$$\begin{gathered} p_i=\sum _{j\in {\Omega }_i}{p}_{ij} \\ {\Omega }_i表示x_i的邻域中,与x_i相同类别的样本 \end{gathered}$$
在整个样本集上的正确率
$$\sum _{i=1}^m{p}_i=\sum _{i=1}^m\sum _{j\in {\Omega }_i}{p}_{ij}=\sum _{i=1}^m\sum _{j\in {\Omega }_i}\frac{\exp (-||x_i-x_j|{|}_M^2)}{{\sum }_l\exp (-||x_i-x_l|{|}_M^2)}$$
那么错误率为
$$1-\sum _{i=1}^m\sum _{j\in {\Omega }_i}\frac{\exp (-||x_i-x_j|{|}_M^2)}{{\sum }_l\exp (-||x_i-x_l|{|}_M^2)}$$
优化目标就是要使错误率尽可能小。

10.7 PCA算法实现

import numpy as np
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris

def pca(dataMat,topNfeat=9999999):
    # 计算均值(按列)
    meanVals=np.mean(dataMat,axis=0)
    # 去除平均值,实现数据中心化
    meanRemoved=dataMat-meanVals
    # 计算协方差矩阵
    covMat=np. cov(meanRemoved,rowvar=0)
    # 计算矩阵的特征值和特征向量
    eigVals,eigVects=np.linalg.eig(np.mat(covMat))
    eigValInd=np.argsort(eigVals)
    # 从小到大对N个值排序
    eigValInd=eigValInd[:-(topNfeat+1):-1]
    recEigVects=eigVects[:,eigValInd]
    # 将数据转换到新空问
    lowDDataMat=meanRemoved*recEigVects
    reconMat=(lowDDataMat*recEigVects.T)+meanVals
    return lowDDataMat,reconMat

X=load_iris().data[:,:]
lowDDataMat,reconMat=pca(X,topNfeat=2)
print(lowDDataMat)
print(reconMat)
plt.scatter(lowDDataMat[:,0].tolist(),lowDDataMat[:,1].tolist(),c='r',marker='o')

绘图结果如下，我们通过计算协方差矩阵、特征值和特征向量，把原本四维的数据集转换成了二维数据集