（《机器学习》完整版系列）第10章 降维与度量学习——10.3 主成分分析的优化目标（坐标变换的魔力）

MDS算法并未限定变换的特点，当然，对线性变换也有效。 由于线性变换的特殊性，可以充分利用线性变换理论进行降维。由此得到主成分分析法，本篇我们从数学角度推导出主成分分析的优化目标。
你在数学中学习了坐标变换，这里就是它的应用，希望你能找到感觉。

主成分分析的优化目标

10.2 低维嵌入（立交桥就是嵌入三维空间中的二维）的MDS算法并未限定变换的特点，当然，对线性变换也有效。 由于线性变换的特殊性，可以充分利用线性变换理论进行降维。

我们先回顾两点几何知识：

（1）投影于坐标平面：三维坐标系$O-xyz$中的点$P(x,y,z)$，将其坐标$(x,y,z)$截断为$(x,y)$，则点$Q(x,y)$为点$P(x,y,z)$在$o-xy$上的投影，这时点$Q$有两种表示：在平面$o-xy$中为$Q(x,y)$、在三维空间$O-xyz$中的点$Q(x,y,0)$。 推广：高维空间中的点$P$（$d$维）的坐标截断后，得到点$Q$（$d^{\prime }$维，$d^{\prime }\ll d$），则点$Q$有两种表示：在超平面中$Q$（$d^{\prime }$维）、在高维空间中的点$Q$（$d$维）。 由此有：
$$\begin{array}{rl}& P:(z_1,z_2,\cdots ,z_{d^{\prime }},z_{d^{\prime }+1},\cdots ,z_d)\\ & Q:(z_1,z_2,\cdots ,z_{d^{\prime }})\\ & Q:(z_1,z_2,\cdots ,z_{d^{\prime }},0,\cdots ,0)\end{array}\text{\hspace{1em}(10.18)(10.19)(10.20)}$$
即高维空间中的点投影于坐标平面（超平面）相当于截位，产生降维效果。

（2）矩阵变换：标准世界坐标系是指基向量为全部的“独1”向量，如，三维空间中为： (1,0,0),\ (0,1,0),\ (0,0,1)，$d$维标准世界坐标系是维一的（故冠以“世界”）。 在$d$维标准世界坐标系下，设有一组$d$维线性无关向量组构成一个矩阵：$\mathbf{W}=({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_d)$，有互逆的两矩阵变换
$$\begin{array}{r}\mathbf{z}={\mathbf{W}}^{\mathrm{T}}\mathbf{x}\\ \mathbf{x}=[{\mathbf{W}}^{\mathrm{T}}{]}^{-1}\mathbf{z}\end{array}\text{\hspace{1em}(10.21)(10.22)}$$

设$({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_d)$为标准正交基，则式(10.22)变为
$$\begin{array}{rl}& \mathbf{x}=\mathbf{W}\mathbf{z},({\mathbf{W}}^{\mathrm{T}}\mathbf{W}=\mathbf{I})\end{array}\text{\hspace{1em}(10.23)}$$

上述矩阵变换有类似于“相对运动”，其关系的两个视角：

（i）视为点变换（在同一坐标系下两点的坐标不同）：$d$维标准世界坐标系下的点$P$的坐标系数由向量$\mathbf{x}$表达（注：将点视为原点至该点的向量，则该向量可表达成基向量的线性组合，系数即为坐标，故将坐标称为坐标系数），而变换后的点$P^{\prime }$的坐标系数由向量$\mathbf{z}$表达。 二者的关系为上述变换式。

（ii）视为坐标变换（同一个点在两个不同坐标系中的不同坐标）：$d$维标准世界坐标系中点$P:\mathbf{x}$，若将坐标系切换成 { w 1 , w 2 , ⋯   , w d } \{\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_d\} {w1​,w2​,⋯,wd​}，则由式(10.23)知，点$P$的坐标系数由向量$\mathbf{z}$表达。

点$P$在$d$维标准世界坐标系和坐标系 { w 1 , w 2 , ⋯   , w d } \{\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_d\} {w1​,w2​,⋯,wd​}中，坐标系数分别为向量$P:\mathbf{x}$和$P:\mathbf{z}$，它们的关系式由式(10.23)矩阵变换表达。

将点$P$投影到新坐标系的坐标（超）平面 { w 1 , w 2 , ⋯   , w d ′ } \{\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_{d'}\} {w1​,w2​,⋯,wd′​}中得到点$Q$（即点$P$的投影为点$Q$），则针对三个坐标系点$Q$有三个坐标系数的向量表达：

• 在$d$维新坐标系 { w 1 , w 2 , ⋯   , w d } \{\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_d\} {w1​,w2​,⋯,wd​}（对应于标准正交基阵$\mathbf{W}$）中，它为$d$维：
  $$Q_d=(z_1;z_2;\cdots ;z_{d^{\prime }};0;\cdots ;0)=(\hat{\mathbf{z}};0)$$
• 在$d^{\prime }$维超平面坐标系 { w 1 , w 2 , ⋯   , w d ′ } \{\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_{d'} \} {w1​,w2​,⋯,wd′​}（对应于矩阵$\hat{\mathbf{W}}$）中，它为
  $$Q_{d^{\prime }}=(z_1;z_2;\cdots ;z_{d^{\prime }})=(\hat{\mathbf{z}})$$
  显然，$Q_{d^{\prime }}$为$P:\mathbf{z}=(\hat{\mathbf{z}};{\mathbf{z}}^{\prime })$的截断，起到了降维作用。
• 在$d$维原标准世界坐标系下，设为$Q:\hat{\mathbf{x}}$。

我们将点在各坐标中坐标列于表10.1中，其中，$\hat{\mathbf{W}}=({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_{d^{\prime }})$为$d\times d^{\prime }$矩阵，$\mathbf{W}$为$d\times d$矩阵，它分为两部分：$\mathbf{W}=(\hat{\mathbf{W}},{\mathbf{W}}_0)$。将其代入式(10.23)的条件项中可得如下式(10.28)。

式(10.23)反映了同一点在标准世界坐标系中坐标和在新坐标系中坐标的关系式，
若已知$\mathbf{z}$，则由式(10.23)可重构出$\hat{\mathbf{x}}$：
$$\begin{array}{rl}\hat{\mathbf{x}}& =\mathbf{W}{Q}_d\\ & =(\hat{\mathbf{W}},{\mathbf{W}}_0)(\hat{\mathbf{z}};0)\\ & =(\hat{\mathbf{W}}\hat{\mathbf{z}}+{\mathbf{W}}_0\cdot 0)\\ & =(\hat{\mathbf{W}}\hat{\mathbf{z}}+0\cdot {\mathbf{z}}^{\prime })\\ & =(\hat{\mathbf{W}},0)(\hat{\mathbf{z}};{\mathbf{z}}^{\prime })\\ & =(\hat{\mathbf{W}},0)\mathbf{z}\end{array}\text{\hspace{1em}(10.25)}$$

对于$\hat{\mathbf{W}}$有关系式
$$\begin{array}{rl}(\hat{\mathbf{W}},0){\mathbf{W}}^{\mathrm{T}}& =(\hat{\mathbf{W}},0)(\hat{\mathbf{W}},{\mathbf{W}}_0{)}^{\mathrm{T}}\\ & =(\hat{\mathbf{W}},0)({\hat{\mathbf{W}}}^{\mathrm{T}};{\mathbf{W}}_0^{\mathrm{T}})\\ & =\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}+0\\ & =\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}\\ \mathbf{W}(\hat{\mathbf{W}},0{)}^{\mathrm{T}}& =\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}\\ {\hat{\mathbf{W}}}^{\mathrm{T}}\hat{\mathbf{W}}={\mathbf{I}}_{d^{\prime }}& \end{array}\text{\hspace{1em}(10.26)(10.27)(10.28)}$$
其中，$\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}$为$d\times d$矩阵，${\mathbf{I}}_{d^{\prime }}$为$d^{\prime }\times d^{\prime }$的单位矩阵。

进而有
$$\begin{array}{rl}& (\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}-{\mathbf{I}}_d{)}^{\mathrm{T}}(\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}-{\mathbf{I}}_d)\\ & =(\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}-2\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}+{\mathbf{I}}_d)\\ & =(\hat{\mathbf{W}}{\mathbf{I}}_{d^{\prime }}{\hat{\mathbf{W}}}^{\mathrm{T}}-2\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}+{\mathbf{I}}_d)\text{（由式(10.28)）}\\ & =-\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}+{\mathbf{I}}_d\end{array}\text{\hspace{1em}(10.29)}$$

在3.1 线性回归中我们讨论了“最小二乘法”，与其类似，我们期望数据集中的点到超平面的距离（平方）和最小，点$P$到超平面的距离即为它与其投影间的距离，由上述讨论知，即为$|PQ|$。

下面研究点$P$与点$Q$间的距离（注：理论上是考虑距离（也即“以点$Q$代替点$P$~”所产生的误差），为便于计算，实际上是取距离平方）。

距离也即误差，故有
$$\begin{array}{rl}||\hat{\mathbf{x}}-\mathbf{x}|{|}_2^2& =||(\hat{\mathbf{W}},0)\mathbf{z}-\mathbf{x}|{|}_2^2\text{（由式(10.25)）}\\ & =||(\hat{\mathbf{W}},0){\mathbf{W}}^{\mathrm{T}}\mathbf{x}-\mathbf{x}|{|}_2^2\text{（由式(10.21)）}\\ & =||\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{x}-\mathbf{x}|{|}_2^2\text{（由式(10.26)）}\\ & =||(\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}-{\mathbf{I}}_d)\mathbf{x}|{|}_2^2\\ & ={\mathbf{x}}^{\mathrm{T}}(\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}-{\mathbf{I}}_d{)}^{\mathrm{T}}(\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}-{\mathbf{I}}_d)\mathbf{x}\\ & ={\mathbf{x}}^{\mathrm{T}}(-\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}+{\mathbf{I}}_d)\mathbf{x}\text{（由式(10.29)）}\\ & =-{\mathbf{x}}^{\mathrm{T}}\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{x}+{\mathbf{x}}^{\mathrm{T}}\mathbf{x}\\ & =-\mathrm{tr}({\mathbf{x}}^{\mathrm{T}}\hat{\mathbf{W}}{\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{x})+{\mathbf{x}}^{\mathrm{T}}\mathbf{x}\text{（下式由【西瓜书附录式(A.8)】）}\\ & =-\mathrm{tr}({\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{x}{\mathbf{x}}^{\mathrm{T}}\hat{\mathbf{W}})+{\mathbf{x}}^{\mathrm{T}}\mathbf{x}\end{array}\text{\hspace{1em}(10.30)}$$

设样本集已进行了中心化，即${\sum }_{i=1}^m{\mathbf{x}}_i=0$，对每个样本点${\mathbf{x}}_i$都用上述方法得到一对点（$P_i$与$Q_i$），由式(10.30)得到该样本对应的距离，对所有距离（也即误差）求和，则有
$$\begin{array}{rl}\sum _{i=1}^m\left|\right|\widehat{{\mathbf{x}}_i}-{\mathbf{x}}_i|{|}_2^2& =\sum _{i=1}^m[-\mathrm{tr}({\hat{\mathbf{W}}}^{\mathrm{T}}{\mathbf{x}}_i{{\mathbf{x}}_i}^{\mathrm{T}}\hat{\mathbf{W}})+{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_i]\\ & =-\mathrm{tr}(\sum _{i=1}^m{\hat{\mathbf{W}}}^{\mathrm{T}}({\mathbf{x}}_i{{\mathbf{x}}_i}^{\mathrm{T}})\hat{\mathbf{W}})+\sum _{i=1}^m{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_i\\ & =-\mathrm{tr}({\hat{\mathbf{W}}}^{\mathrm{T}}\sum _{i=1}^m({\mathbf{x}}_i{{\mathbf{x}}_i}^{\mathrm{T}})\hat{\mathbf{W}})+\mathrm{const}\\ & =-\mathrm{tr}({\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{X}{\mathbf{X}}^{\mathrm{T}}\hat{\mathbf{W}})+\mathrm{const}\end{array}\text{\hspace{1em}(10.31)(10.32)}$$
其中，$\mathbf{X}=({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m)$为$d\times m$矩阵，因训练集${{\mathbf{x}}_i}_{i=1}^m$已定，故式(10.31)的第二项${\sum }_{i=1}^m{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_i$为常数（记为$\mathrm{const}$），第一项中$\mathbf{X}{\mathbf{X}}^{\mathrm{T}}$为常数矩阵，但它不能提出来（没有交换律）。

由式(10.32)及7.1 贝叶斯决策论中的式(7.6)，即得主成分分析的优化目标，
而式(10.28)为约束条件，即
$$\begin{array}{rl}\underset{\hat{\mathbf{W}}}{\min }& -\mathrm{tr}({\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{X}{\mathbf{X}}^{\mathrm{T}}\hat{\mathbf{W}})\\ s.t.& {\hat{\mathbf{W}}}^{\mathrm{T}}\hat{\mathbf{W}}={\mathbf{I}}_{d^{\prime }}\end{array}\text{\hspace{1em}(10.33)}$$
即【西瓜书式(10.16)】的优化目标。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：10.2 低维嵌入（立交桥就是嵌入三维空间中的二维）
下一篇：10.4 主成分分析的优化目标另一推导（投影点尽可能分开）