（《机器学习》完整版系列）第10章 降维与度量学习——10.4 主成分分析的优化目标另一推导（投影点尽可能分开）

直角三角形中，斜边固定，则由勾股定理知两直角边此消彼长。
作坐标变换，部分坐标轴形成超平面，调整变换实现优化目标：超平面上的投影点尽可能分开，即方差最大化。
直观地理解，降维后，样本集中的样本还是易区分，而不是丧失其特点形成不能区分的一砣。

主成分分析的优化目标另一推导

先看一个几何现象：直角三角形中，斜边固定，则由勾股定理知两直角边此消彼长。
设点$P$和点$X$到$l$的垂足分别为$Q$和$Y$（垂足随着直线$l$的变化而变化），连线$PX$与$l$的交点为$T$。
现在目标：平面上有点$P$和点$X$，作一过原点的直线$l$，使得点$P$和点$X$到直线$l$的距离之和（$|PQ|+|XY|$）最小化。
两定点$P$和点$X$间的距离固定为$|PX|$，由“此消彼长”规律知，（$|PQ|+|XY|$）与（$|QT|+|TY|=|QY|$）此消彼长。故目标转化为使$|QT|+|TY|=|QY|$最大化。即转化为两投影点间距离最大化。

推广到多维中，即，作坐标变换，部分坐标轴形成超平面（$d^{\prime }$维），调整变换实现优化目标：超平面上的投影点尽可能分开，即方差最大化。

在10.3 主成分分析的优化目标（坐标变换的魔力）的所述变换中，在$d$维新坐标系 { w 1 , w 2 , ⋯   , w d } \{\boldsymbol{w}_1,\boldsymbol{w}_2,\cdots,\boldsymbol{w}_d\} {w1​,w2​,⋯,wd​}下，点$P$对应的向量为$(\hat{\mathbf{z}};{\mathbf{z}}^{\prime })$，点$Q$对应的向量为$(\hat{\mathbf{z}};0)$，则
$$\begin{array}{rl}& \{\begin{array}{l}\mathbf{z}=(\hat{\mathbf{z}};{\mathbf{z}}^{\prime })\\ \mathbf{W}=(\hat{\mathbf{W}},{\mathbf{W}}_0)\\ \mathbf{z}={\mathbf{W}}^{\mathrm{T}}\mathbf{x}\end{array}\\ & \Rightarrow (\hat{\mathbf{z}};{\mathbf{z}}^{\prime })=({\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{x};{\mathbf{W}}_0^{\mathrm{T}}\mathbf{x})\\ & \Rightarrow \hat{\mathbf{z}}={\hat{\mathbf{W}}}^{\mathrm{T}}\mathbf{x}\end{array}\text{\hspace{1em}(10.34)}$$
其中$\hat{\mathbf{z}}=(z_1;z_2;\cdots ;z_{d^{\prime }}),{\mathbf{z}}^{\prime }=(z_{d^{\prime }+1};z_{d^{\prime }+2};\cdots ;z_d)$。

对数据集中每一个点（样本）都作上述变换，则由式(10.34)及 { x i } i = 1 m \{\boldsymbol{x}_i\}_{i=1}^m {xi​}i=1m​已经中心化，有
$$\begin{array}{rl}& \sum _{i=1}^m{\hat{\mathbf{z}}}_i=\sum _{i=1}^m{\hat{\mathbf{W}}}^{\mathrm{T}}{\mathbf{x}}_i={\hat{\mathbf{W}}}^{\mathrm{T}}\sum _{i=1}^m{\mathbf{x}}_i=0\\ & \Rightarrow \mathbb{E}{\hat{\mathbf{z}}}_i=0\end{array}\text{\hspace{1em}(10.35)}$$
由式(10.34)、式(10.35)有
$$\begin{array}{rl}\mathrm{Var}(\hat{\mathbf{z}})& =\mathbb{E}||\widehat{{\mathbf{z}}_i}-\mathbb{E}\widehat{{\mathbf{z}}_i}|{|}^2\\ & =\mathbb{E}||\widehat{{\mathbf{z}}_i}|{|}^2\text{（由式(10.35)）}\\ & =\frac{1}{m}\sum _{i=1}^m{\hat{\mathbf{z}}}_i^{\mathrm{T}}{\hat{\mathbf{z}}}_i\\ & =\frac{1}{m}\sum _{i=1}^m({\hat{\mathbf{W}}}^{\mathrm{T}}{\mathbf{x}}_i{)}^{\mathrm{T}}{\hat{\mathbf{W}}}^{\mathrm{T}}{\mathbf{x}}_i\end{array}\text{\hspace{1em}(10.36)}$$

再照参10.3 主成分分析的优化目标（坐标变换的魔力）引入迹trace处理，最大化式(10.36)，即10.3 主成分分析的优化目标（坐标变换的魔力）的优化目标式(10.33)，也即【西瓜书式(10.16)】的优化目标。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：10.3 主成分分析的优化目标（坐标变换的魔力）
下一篇：10.5 主成分分析的目标求解（“丢掉不重要属性”是错误的）