（《机器学习》完整版系列）附录 ——8、协方差矩阵的特征值

由于求协方差矩阵的特征值在机器学习中具有非常重要的地位，为此，我们专讨论它。

协方差矩阵的特征值

由于求协方差矩阵的特征值具有非常重要的地位，为此，我们专讨论它。

（0）随机变量的方差、两随机变量的协方差

对于随机变量$x$的观察值（样本）集 { x j } j = 1 m \{x_j\}_{j=1}^m {xj​}j=1m​，有均值和方差（许多同学总是把方差（估值）中的系数错误地记成了$\frac{1}{m}$）：
$$\begin{array}{rl}\text{（样本）均值：}\mu & =\frac{1}{m}\sum _{j=1}^m{x}_j\\ \text{（样本）方差：}{\sigma }^2& =\frac{1}{m-1}\sum _{j=1}^m(x_j-\mu {)}^2\end{array}\text{\hspace{1em}(D1)(D2)}$$
注：若定义随机变量$x$的数学期望$\mathbb{E}(x)$和方差$\mathrm{Var}(x)$分别为$\mu ,{\sigma }^2$，则这里的样本均值和样本方差分别为其对应的估值，这时为区别，这里就应改用$\hat{\mu },\hat{\sigma }$，后续情况类似。

若数据集已“中心化” ，则
$$\begin{array}{r}\mu =0,{\sigma }^2=\frac{1}{m-1}\sum _{j=1}^m{x}_j^2\end{array}\text{\hspace{1em}(D3)}$$

设随机变量$x$与$y$的样本集分别为 { x j } j = 1 m \{x_j\}_{j=1}^m {xj​}j=1m​、 { y j } j = 1 m \{y_j\}_{j=1}^m {yj​}j=1m​，则可定义
$$\begin{array}{rl}\text{协方差：}{\sigma }_{xy}& =\frac{1}{m-1}\sum _{j=1}^m(x_j-{\mu }_x)(y_j-{\mu }_y)\\ \text{相关系数：}{\rho }_{xy}& =\frac{{\sigma }_{xy}}{{\sigma }_x{\sigma }_y}\end{array}\text{\hspace{1em}(D4)(D5)}$$
其中，${\mu }_x$对应于式(D1)，${\sigma }_x^2$对应于式(D2)，其余类推。

（1）随机向量$\mathbf{x}$样本集$\mathbf{X}$的协方差矩阵

现在把随机变量扩展成随机向量$\mathbf{x}=(x_1;x_2;\cdots ;x_d)$，样本集为 { x j } j = 1 m \{\boldsymbol{x}_j\}_{j=1}^m {xj​}j=1m​，每个分量$x_i$均为随机变量，将样本集作为矩阵
$$\begin{array}{rl}\mathbf{X}& =({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m)\\ & =\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1m}\\ x_{21}& x_{22}& \cdots & x_{2m}\\ ⋮& ⋮& ⋮& ⋮\\ x_{d1}& x_{d2}& \cdots & x_{dm}\end{array}\right)\end{array}$$
其中，矩阵每列是一个向量样本（共$m$个样本），每行是一个分量的样本集，分量$x_i$的样本集为 { x i j } j = 1 m \{x_{ij}\}_{j=1}^m {xij​}j=1m​，
依上述定义，每个分量$x_i$有上述样本均值和样本方差，两分量$x_{i_1},x_{i_2}$间有协方差和相关系数。

现在假定对向量样本集$\mathbf{X}$的各分量作中心化（即对行作中心化）得到向量样本集为${\mathbf{X}}^{\prime }$，
则由式(D1)、式(D2)有
$$\begin{array}{rl}{\mathbf{X}}^{\prime }{{\mathbf{X}}^{\prime }}^{\mathrm{T}}& =\left(\begin{array}{cccc}{\sum }_{j=1}^m{x_{1j}^{\prime }}^2& {\sum }_{j=1}^m{x}_{1j}^{\prime }{x}_{2j}^{\prime }& \cdots & {\sum }_{j=1}^m{x}_{1j}^{\prime }{x}_{dj}^{\prime }\\ {\sum }_{j=1}^m{x}_{2j}^{\prime }{x}_{1j}^{\prime }& {\sum }_{j=1}^m{x_{2j}^{\prime }}^2& \cdots & {\sum }_{j=1}^m{x}_{2j}^{\prime }{x}_{dj}^{\prime }\\ ⋮& ⋮& ⋮& ⋮\\ {\sum }_{j=1}^m{x}_{dj}^{\prime }{x}_{1j}^{\prime }& {\sum }_{j=1}^m{x}_{dj}^{\prime }{x}_{2j}^{\prime }& \cdots & {\sum }_{j=1}^m{x_{dj}^{\prime }}^2\end{array}\right)\\ & =(m-1)\left(\begin{array}{cccc}{\sigma }_{x_1^{\prime }}^2& {\sigma }_{x_1^{\prime }{x}_2^{\prime }}& \cdots & {\sigma }_{x_1^{\prime }{x}_d^{\prime }}\\ {\sigma }_{x_2^{\prime }{x}_1^{\prime }}& {\sigma }_{x_2^{\prime }}^2& \cdots & {\sigma }_{x_2^{\prime }{x}_d^{\prime }}\\ ⋮& ⋮& ⋮& ⋮\\ {\sigma }_{x_d^{\prime }{x}_1^{\prime }}& {\sigma }_{x_d^{\prime }{x}_2^{\prime }}& \cdots & {\sigma }_{x_d^{\prime }}^2\end{array}\right)\end{array}\text{\hspace{1em}(D7)}$$
其中，右侧除了系数$(m-1)$外，矩阵的主对角线为分量的方差，其他元素为两分量的协方差，因此，定义${\mathbf{X}}^{\prime }{{\mathbf{X}}^{\prime }}^{\mathrm{T}}$为样本集$\mathbf{X}$的协方差矩阵。

（2）求协方差矩阵不必中心化

设${\mathbf{X}}^{\prime }$由$\mathbf{X}$中心化所得，即
$$\begin{array}{rl}{\mathbf{x}}_i^{\prime }& ={\mathbf{x}}_i-\frac{1}{m}\sum _{i=1}^m{\mathbf{x}}_i\\ & ={\mathbf{x}}_i-\frac{1}{m}\mathbf{X}1\text{（由[附录 ——1、向量与矩阵]中式(A18)）}\\ & ={\mathbf{x}}_i-\mathbf{\mu }\end{array}\text{\hspace{1em}(D8)}$$
其中，$1$为元素全为1的（列）向量，定义向量$\mathbf{\mu }\stackrel{\mathrm{def}}{=}\frac{1}{m}\mathbf{X}1$，定义各列全为向量$\mathbf{\mu }$的矩阵$\mathbf{A}$
$$\begin{array}{rl}\mathbf{A}& \stackrel{\mathrm{def}}{=}(\mathbf{\mu },\mathbf{\mu },\cdots ,\mathbf{\mu })\\ & =\mathbf{\mu }(1,1,\cdots ,1)\\ & =\mathbf{\mu }{1}^{\mathrm{T}}\\ & =\frac{1}{m}\mathbf{X}11^{\mathrm{T}}\end{array}\text{\hspace{1em}(D9)}$$
$$\begin{array}{rl}{\mathbf{X}}^{\prime }{{\mathbf{X}}^{\prime }}^{\mathrm{T}}& =\sum _{i=1}^m{\mathbf{x}}_i^{\prime }{{\mathbf{x}}_i^{\prime }}^{\mathrm{T}}\\ & =\sum _{i=1}^m({\mathbf{x}}_i-\mathbf{\mu })({\mathbf{x}}_i-\mathbf{\mu }{)}^{\mathrm{T}}\\ & =\sum _{i=1}^m({\mathbf{x}}_i{\mathbf{x}}_i^{\mathrm{T}}-\mathbf{\mu }{\mathbf{x}}_i^{\mathrm{T}}-{\mathbf{x}}_i{\mathbf{\mu }}^{\mathrm{T}}+\mathbf{\mu }{\mathbf{\mu }}^{\mathrm{T}})\\ & =\sum _{i=1}^m{\mathbf{x}}_i{\mathbf{x}}_i^{\mathrm{T}}-\sum _{i=1}^m\mathbf{\mu }{\mathbf{x}}_i^{\mathrm{T}}-\sum _{i=1}^m{\mathbf{x}}_i{\mathbf{\mu }}^{\mathrm{T}}+\sum _{i=1}^m\mathbf{\mu }{\mathbf{\mu }}^{\mathrm{T}}\\ & =\mathbf{X}{\mathbf{X}}^{\mathrm{T}}-\mathbf{X}{\mathbf{A}}^{\mathrm{T}}-\mathbf{A}{\mathbf{X}}^{\mathrm{T}}+\mathbf{A}{\mathbf{A}}^{\mathrm{T}}\text{（本式由[附录 ——1、向量与矩阵]中式(A20)；下式由式(D9)）}\\ & =\mathbf{X}{\mathbf{X}}^{\mathrm{T}}-\mathbf{X}(\frac{1}{m}\mathbf{X}11^{\mathrm{T}}{)}^{\mathrm{T}}-(\frac{1}{m}\mathbf{X}11^{\mathrm{T}}){\mathbf{X}}^{\mathrm{T}}+(\frac{1}{m}\mathbf{X}11^{\mathrm{T}})(\frac{1}{m}\mathbf{X}11^{\mathrm{T}}{)}^{\mathrm{T}}\\ & =\mathbf{X}\left(\mathbf{I}-(\frac{1}{m}11^{\mathrm{T}}{)}^{\mathrm{T}}-(\frac{1}{m}11^{\mathrm{T}})+(\frac{1}{m}11^{\mathrm{T}})(\frac{1}{m}11^{\mathrm{T}}{)}^{\mathrm{T}}\right){\mathbf{X}}^{\mathrm{T}}\\ & =\mathbf{X}(\mathbf{I}-\frac{1}{m}11^{\mathrm{T}})(\mathbf{I}-\frac{1}{m}11^{\mathrm{T}}{)}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\text{（由[附录 ——1、向量与矩阵]中式(A24)）}\\ & =\mathbf{XH}{\mathbf{H}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\end{array}$$
其中，$\mathbf{H}=\mathbf{I}-\frac{1}{m}11^{\mathrm{T}}$。

由此，协方差矩阵
$$\begin{array}{rl}{\mathbf{X}}^{\prime }{{\mathbf{X}}^{\prime }}^{\mathrm{T}}& =\mathbf{XH}{\mathbf{H}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(D10)}$$
这说明不需要显式的中心化过程，即可通过式(D10)右边求出样本集$\mathbf{X}$的协方差矩阵${\mathbf{X}}^{\prime }{{\mathbf{X}}^{\prime }}^{\mathrm{T}}$。

（3）通过$\mathbf{Y}$的奇异值分解得到$\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}$的特征分解

我们讨论如何通过矩阵$\mathbf{Y}$的奇异值分解$\mathbf{\Sigma }$得到$\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}$的特征分解$\mathbf{\Lambda }$。

由【西瓜书附录式(A.33)】，$\mathbf{Y}$的奇异值分解表述为如下：
$$\begin{array}{r}\{\begin{array}{l}\mathbf{Y}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}}\\ \mathbf{Y}\in {\mathbb{R}}^{d\times m},\mathbf{U}\in {\mathbb{R}}^{d\times d},\mathbf{\Sigma }\in {\mathbb{R}}^{d\times m},\mathbf{V}\in {\mathbb{R}}^{m\times m}\\ {\mathbf{U}}^{\mathrm{T}}\mathbf{U}={\mathbf{I}}_{d\times d},{\mathbf{V}}^{\mathrm{T}}\mathbf{V}={\mathbf{I}}_{m\times m}\\ \mathbf{\Sigma }=\{\begin{array}{ll}(\mathrm{diag}({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_d),0),& (d⩽m)\\ (\mathrm{diag}({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_m);0),& (d>m)\end{array}\\ {\sigma }_1⩾{\sigma }_2⩾\cdots ⩾0\end{array}\end{array}\text{\hspace{1em}(D11)}$$
其中，$\mathrm{diag}({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_d)$为对角矩阵。

则
$$\begin{array}{rl}\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}& =(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}})(\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}}{)}^{\mathrm{T}}\\ & =\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\mathrm{T}}\mathbf{V}\mathbf{\Sigma }{\mathbf{U}}^{\mathrm{T}}\\ & =\mathbf{U}\mathbf{\Sigma }\mathbf{\Sigma }{\mathbf{U}}^{\mathrm{T}}\\ & =\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^{\mathrm{T}}\end{array}\text{\hspace{1em}(D12)}$$
式(D12)即为$\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}$的特征分解，其中，对角阵
$$\begin{array}{r}\mathbf{\Lambda }=\mathbf{\Sigma }\mathbf{\Sigma }={\mathbf{\Sigma }}^2,\text{即： }(\mathbf{\Lambda }{)}_{ii}={\lambda }_i={\sigma }_i^2\end{array}\text{\hspace{1em}(D13)}$$
因为，由式(D12)有
$$\begin{array}{rl}\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}\mathbf{U}& =\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^{\mathrm{T}}\mathbf{U}\\ & =\mathbf{U}\mathbf{\Lambda }\end{array}\text{\hspace{1em}(D14)}$$
即
$$\begin{array}{rl}\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}{\mathbf{u}}_i& ={\mathbf{u}}_i{\lambda }_i\end{array}\text{\hspace{1em}(D15)}$$
由式(D15)及特征向量的定义可知，${\mathbf{u}}_i$为特征向量，${\lambda }_i$为对应的特征值，这就通过$\mathbf{Y}$的奇异值分解$\mathbf{\Sigma }$实现了$\mathbf{Y}{\mathbf{Y}}^{\mathrm{T}}$的特征分解$\mathbf{\Lambda }={\mathbf{\Sigma }}^2$，且特征值为奇异值的平方${\lambda }_i={\sigma }_i^2$，次序为从大到小排序。

实际问题（例如，10.2 低维嵌入（立交桥就是嵌入三维空间中的二维）特征分解进行降维的技巧的式(10.17)中）中，往往最终不是求协方差矩阵${\mathbf{X}}^{\prime }{{\mathbf{X}}^{\prime }}^{\mathrm{T}}$（求它只是过程中的过渡），而是要求出协方差矩阵的特征值（特征矩阵），由（1）知，只需求出$\mathbf{XH}{\mathbf{H}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}$的特征分解。
由（2）知，只需通过$\mathbf{XH}$（视作$\mathbf{Y}$）的奇异值分解来实现$\mathbf{XH}{\mathbf{H}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}$的特征分解。 即协方差矩阵的特征分解归结为$\mathbf{XH}$的奇异值分解，而奇异值分解又有现成的计算工具。

综上，求样本集$\mathbf{X}$（不必中心化）协方差矩阵的特征矩阵的方法：对$\mathbf{XH}$进行奇异值分解，得$\mathbf{\Sigma }$，再由${\lambda }_i={\sigma }_i^2$组成特征矩阵$\mathbf{\Lambda }$。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：7、有趣的距离与范数
下一篇：1-1 机器也学习？