【机器学习的数学基础】（十二）概率与分布(Probability and Distributions)(中)

6 概率与分布(Probability and Distributions)(中)

6.4 概括性统计和独立性

我们经常对概括随机变量集和比较随机变量对感兴趣。随机变量的统计量是由随机变量确定的函数。分布的概括性统计量为随机变量的行为提供了一个有用的视角，顾名思义，它用数字概括和描述分布。我们将描述均值和方差这两个众所周知的概括性统计量。然后讨论比较随机变量对的两种方法:一是如何说明两个随机变量是独立的;第二，如何计算它们之间的内积

6.4.1 均值和协方差

平均值和(协)方差通常是描述概率分布的有用性质(期望值和扩散情况)。在第6.6节中，我们将看到有一个有用的分布族(称为指数族)，其中随机变量的统计量捕获了所有可能信息。

期望值的概念是机器学习的中心，概率本身的一些基本概念可以从期望值派生(Whittle, 2000)。

定义 6.3期望值

关于单变量连续随机变量$X\sim p(X)$的函数$g:\mathbb{R}\to \mathbb{R}$的期望值(expected value )为：
$${\mathbb{E}}_X[g(x)]={\int }_{\mathcal{X}}g(x)p(x)\mathrm{d}x$$

相应地，关于离散随机变量$X\sim p(X)$的函数$g$的期望值为：
$${\mathbb{E}}_X[g(x)]=\sum _{x\in \mathcal{X}}g(x)p(x)$$

其中$\mathcal{X}$是随机变量$X$的可能结果的集合(目标空间)。

在本节中，我们考虑离散随机变量的数值结果。通过观察函数$g$以实数作为输入可以看出这一点。

备注：
我们考虑用多元随机变量$X$表示一元随机变量组成的有限维向量$[X_1，\dots ,X_D{]}^{\top }$。对于多元随机变量，我们逐元素定义期望值：
$${\mathbb{E}}_X[g(\mathbf{x})]=\left[\begin{array}{c}{\mathbb{E}}_{X_1}\left[g\left(x_1\right)\right]\\ ⋮\\ {\mathbb{E}}_{X_D}\left[g\left(x_D\right)\right]\end{array}\right]\in {\mathbb{R}}^D$$

其中${\mathbb{E}}_{X_d}$的下标表示我们取向量$\mathbf{x}$的第$d$个元素的期望值。

定义6.3定义了符号${\mathbb{E}}_X$的意义，作为一个算子，它表示我们应该取关于概率密度的积分(对于连续分布)或关于所有状态的和(对于离散分布)。均值的定义(定义6.4)，是期望值的一种特殊情况，通过取$g$为恒等函数得到。

定义 6.4 均值

状态$\mathbf{x}\in {\mathbb{R}}^D$的随机变量$X$的均值(mean)为平均值(average)，定义为
$${\mathbb{E}}_X[\mathbf{x}]=\left[\begin{array}{c}{\mathbb{E}}_{X_1}\left[x_1\right]\\ ⋮\\ {\mathbb{E}}_{X_D}\left[x_D\right]\end{array}\right]\in {\mathbb{R}}^D$$

对于$d=1，\dots ，D$：

$${\mathbb{E}}_{X_d}\left[x_d\right]:=\{\begin{array}{ll}{\int }_{\mathcal{X}}{x}_{d}p\left(x_d\right)\mathrm{d}{x}_d& \text{ 如果 }X\text{ 为连续型随机变量 }\\ {\sum }_{x_i\in \mathcal{X}}{x}_{i}p\left(x_d=x_i\right)& \text{ 如果 }X\text{ 为离散型随机变量}\end{array}(6.32)$$

其中下标$d$表示$\mathbf{x}$对应的维数。上式是对随机变量$X$的目标空间状态$\mathcal{X}$的积分以及求和。

在一个维度中，还有另外两个直观的“平均”概念，即中位数(median)和众数(mode)。如果我们对这些值进行排序，中位数就是“最中间”的值，即50%的值大于中位数，50%的值小于中位数。这一思想可以推广到连续值，考虑累计分布函数(定义6.2)为0.5的值。对于不对称或有长尾的分布，中位数提供了一个典型值的估计值，该值比平均值更接近人类的直觉。此外，中位数对异常值的鲁棒性比平均值强。中位数向更高维度的推广是非平凡的，因为目前没有方法可以在不止一个维度中“排序”(Hallin et al.， 2010;Kong and Mizera, 2012)。

众数(mode)是最常出现的值。对于离散随机变量，众数定义为出现频率最高的$x$的值。对于连续随机变量，众数定义为密度$p(\mathbf{x})$上的一个峰值。一个特定的密度$p(\mathbf{x})$可能有不止一个众数，而且在高维分布中可能有大量的众数。因此，找到一个分布的所有众数在计算上是具有挑战性的。

图 6.4 对二维数据集的平均值、众数和中值及其边缘密度的图示说明。

例 6.4

考虑图6.4所示的二维分布：
$$p(x)=0.4\mathcal{N}\left(\mathbf{x}\mid \left[\begin{array}{c}10\\ 2\end{array}\right],\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\right)+0.6\mathcal{N}\left(\mathbf{x}\mid \left[\begin{array}{l}0\\ 0\end{array}\right],\left[\begin{array}{ll}8.4& 2.0\\ 2.0& 1.7\end{array}\right]\right)$$

我们将在6.5节中定义高斯分布$\mathcal{N}\left(\mu ,{\sigma }^2\right)$。图中在每个维度上也显示了相应的边缘分布。可以观察到分布是双峰的(有两个众数)，但其中一个边缘分布是单峰的(有一个众数)。单变量水平双峰分布说明了均值和中位数可以是不同的。你可能会将二维分布的中值定义为每个维度中值的行列连接处，但事实上我们无法定义二维点的顺序。当我们说“不能定义顺序”时，我们的意思是有不止一种方法来定义关系$<$使得$\left[\begin{array}{l}3\\ 0\end{array}\right]<\left[\begin{array}{l}2\\ 3\end{array}\right]$。

备注：
期望值(定义6.3)是一个线性算子。例如，给定一个实值函数$f(\mathbf{x})=ag(\mathbf{x})+bh(\mathbf{x})$其中$a,b\in \mathbb{R}$
$\mathbf{x}\in {\mathbb{R}}^D$，我们可以得到：
$$\begin{array}{rl}{\mathbb{E}}_X[f(\mathbf{x})]& =\int f(\mathbf{x})p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & =\int [ag(\mathbf{x})+bh(\mathbf{x})]p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & =a\int g(\mathbf{x})p(\mathbf{x})\mathrm{d}x+b\int h(\mathbf{x})p(\mathbf{x})\mathrm{d}\mathbf{x}\\ & =a{\mathbb{E}}_X[g(\mathbf{x})]+b{\mathbb{E}}_X[h(\mathbf{x})]\end{array}$$

对于两个随机变量，我们可以描述它们之间的对应关系。协方差直观地表示随机变量之间的相关性。

定义 6.5协方差(一元)

两个单变量随机变量$X,Y\in \mathbb{R}$之间的协方差(covariance)由其偏离各自均值的期望积给出，即
$${\mathrm{Cov}}_{X,Y}[x,y]:={\mathbb{E}}_{X,Y}\left[\left(x-{\mathbb{E}}_X[x]\right)\left(y-{\mathbb{E}}_Y[y]\right)\right]$$

术语:多元随机变量的协方差$\mathrm{Cov}[x,y]$有时被称为交叉协方差（cross-covariance），其中协方差指的是$\mathrm{Cov}[x,x]$。

备注：
当与期望或协方差相关的随机变量的参数明确时，下标通常被去掉(例如，${\mathbb{E}}_X[x]$经常被写成$\mathbb{E}[x]$)。

利用期望的线性性，定义6.5中的表达式可以改写为乘积的期望值减去期望值的乘积，即
$$\mathrm{Cov}[x,y]=\mathbb{E}[xy]-\mathbb{E}[x]\mathbb{E}[y]$$

一个变量与自身的协方差$Cov[x,x]$称为方差（variance），用${\mathbb{V}}_X[x]$表示。方差的平方根称为标准差（standard deviation），通常用$\sigma (x)$表示。协方差的概念可以推广到多元随机变量。

定义 6.6 协方差(多元)

如果我们考虑两个多元随机变量$X$和$Y$，分别对应状态$\mathbf{x}\in {\mathbb{R}}^D$和$\mathbf{y}\in {\mathbb{R}}^E$，则$X$和$Y$之间的协方差定义为：
$$\mathrm{Cov}[\mathbf{x},\mathbf{y}]=\mathbb{E}\left[\mathbf{x}{\mathbf{y}}^{\top }\right]-\mathbb{E}[\mathbf{x}]\mathbb{E}[\mathbf{y}{]}^{\top }=\mathrm{Cov}[\mathbf{y},\mathbf{x}{]}^{\top }\in {\mathbb{R}}^{D\times E}$$

定义6.6可以应用于两个相同的多元随机变量，从而产生一个有用的概念，直观地捕捉随机变量的“扩散程度”。对于一个多元随机变量，方差描述了该随机变量的单个维度之间的关系。

定义 6.7 方差

状态为$\mathbf{x}\in {\mathbb{R}}^D$且均值向量为$\mathbf{\mu }\in {\mathbb{R}}^D$的随机变量$X$的方差(variance)定义为

$$\begin{array}{rl}{\mathbb{V}}_X[\mathbf{x}]& ={\mathrm{Cov}}_X[\mathbf{x},\mathbf{x}]\\ & ={\mathbb{E}}_X\left[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^{\top }\right]={\mathbb{E}}_X\left[\mathbf{x}{\mathbf{x}}^{\top }\right]-{\mathbb{E}}_X[\mathbf{x}]{\mathbb{E}}_X[\mathbf{x}{]}^{\top }\\ & =\left[\begin{array}{cccc}\mathrm{Cov}\left[x_1,x_1\right]& \mathrm{Cov}\left[x_1,x_2\right]& \dots & \mathrm{Cov}\left[x_1,x_D\right]\\ \mathrm{Cov}\left[x_2,x_1\right]& \mathrm{Cov}\left[x_2,x_2\right]& \dots & \mathrm{Cov}\left[x_2,x_D\right]\\ ⋮& ⋮& \ddots & ⋮\\ \mathrm{Cov}\left[x_D,x_1\right]& \dots & \dots & \mathrm{Cov}\left[x_D,x_D\right]\end{array}\right]\end{array}$$

上式中的$D\times D$矩阵称为多元随机变量$X$的协方差矩阵(covariance matrix)。协方差矩阵是对称的，且半正定的，它告诉我们数据的扩散情况。协方差矩阵的对角线包含边缘分布
$$p\left(x_i\right)=\int p\left(x_1,\dots ,x_D\right)\mathrm{d}{x}_{\backslash i}$$

的方差。其中“$\backslash i$”表示“除了$i$之外的所有变量”。非对角线项为交叉协方差项$Cov[x_i,x_j]$。$i,j=1,\dots ,D,i\ne j$。

备注：
在这本书中，为了便于理解，我们一般假设协方差矩阵是正定的。因此，我们不讨论半正定(低秩)协方差矩阵的极端情况。

当我们想比较不同随机变量对之间的协方差时，每个随机变量的方差都会影响协方差的值。协方差的标准化版本称为相关(correlation)。

定义 6.8相关

两个随机变量$X$，$Y$的相关(correlation)为：
$$\mathrm{corr}[x,y]=\frac{\mathrm{Cov}[x,y]}{\sqrt{\mathbb{V}[x]\mathbb{V}[y]}}\in [-1,1]$$

相关矩阵是被标准化的随机变量$x/\sigma (x)$的协方差矩阵。换句话说，每个随机变量在相关矩阵中都除以其标准差(方差的平方根)。

协方差(和相关)表示两个随机变量是如何相关的;参见图6.5。正相关$corr[x,y]$意味着当$x$增长时，$y$也会增长。负相关意味着随着$x$的增加，$y$的减少。

图 6.5二维数据集沿每个轴(彩色线)具有相同的均值和方差，但协方差不同。

6.4.2 经验均值和协方差

第6.4.1节中的定义通常也被称为总体均值和协方差(population mean and covariance)，因为它指的是总体的真实统计数据。在机器学习中，我们需要从数据的经验观察中学习。考虑一个随机变量$X$。从总体统计到经验统计的实现有两个概念步骤。

首先，我们有一个有限的数据集(大小为$N$)来构造一个经验统计量，它是含有有限个相同随机变量$X_1,...,X_N$的函数。

然后，我们观察数据，也就是说获得每个随机变量的观测值$x_1,...,x_N$并应用经验统计量。

定义 6.9 经验均值和协方差

经验平均(empirical mean)向量是每个变量的观测值的算术平均值，定义为
$$\overline{\mathbf{x}}:=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n(6.41)$$
其中${\mathbf{x}}_n\in {\mathbb{R}}^D$。

与经验均值相似，经验协方差矩阵是$D\times D$矩阵
$$\mathbf{\Sigma }:=\frac{1}{N}\sum _{n=1}^N\left({\mathbf{x}}_n-\overline{\mathbf{x}}\right){\left({\mathbf{x}}_n-\overline{\mathbf{x}}\right)}^{\top }(6.42)$$

备注：在整本书中，我们使用的经验协方差，是一个有偏估计。无偏协方差(有时称为修正协方差)的分母是$N-1$而不是$N$。

为了计算特定数据集的统计数据，我们将使用实现(观测)${\mathbf{x}}_1,\dots ,{\mathbf{x}}_N$和使用(6.41)和(6.42)。经验协方差矩阵是对称的，半正定的(见3.2.3节)。

6.4.3 方差的三个表达式

我们现在关注单个随机变量$X$，并使用前面的经验公式推导出三种方差表达式。下面的推导对于总体方差是一样的，只是我们不需要考虑积分。方差的标准定义，与协方差的定义(定义6.5)相对应，是随机变量$X$与其期望值$\mu$的平方偏差的期望，即
$${\mathbb{V}}_X[x]:={\mathbb{E}}_X\left[(x-\mu {)}^2\right](6.43)$$

(6.43)中的期望和平均值$\mu ={\mathbb{E}}_X(x)$使用(6.32)计算，取决于$X$是离散的还是连续的随机变量。(6.43)中表示的方差可以说是一个新的随机变量$Z:=(X-\mu {)}^2$的均值。

当根据经验估计(6.43)中的方差时，我们需要使用一个两阶段的算法：首先利用数据使用(6.41)计算平均值$\mu$，然后使用这个估计值$\hat{\mu }$计算方差。

事实证明，我们可以通过整理表达式来避免两个阶段。(6.43)中的公式可以转换为所谓的方差的原始分数公式（raw-score formula for variance）:
$${\mathbb{V}}_X[x]={\mathbb{E}}_X\left[x^2\right]-{\left({\mathbb{E}}_X[x]\right)}^2(6.44)$$

(6.44)中的表达式可以这样记住：“平方的均值减去均值的平方”。它只需对数据进行一次计算，因为我们可以同时计算$x_i$(计算平均值)和$x_i^2$，其中$x_i$是第$i$个观测值。不幸的是，如果以这种方式计算，它在数值上可能不稳定。

方差的原始分数版本在机器学习中是有用的，例如，在推导偏差-方差分解时(Bishop, 2006)。

理解方差的第三种方式是，它是所有观测值对的差的总和。考虑随机变量$X$的一个样本$x_1,\dots ,x_N$，我们计算$x_i$和$x_j$对之间的平方差。通过展开平方差，我们可以证明$N^2$个观测值对的差的总和是观测值的经验方差:
$$\frac{1}{N^2}\sum _{i,j=1}^N{\left(x_i-x_j\right)}^2=2\left[\frac{1}{N}\sum _{i=1}^N{x}_i^2-{\left(\frac{1}{N}\sum _{i=1}^N{x}_i\right)}^2\right](6.45)$$

我们看到(6.45)是原始分数表达式(6.44)的两倍。这意味着我们可以用观测值两两之间的距离的总和($N^2$个)表示偏离均值的偏离值总和(有$N$个)。

几何上,这意味着在一个点集中，点两两之间的距离和点到点集中心的距离是等价的。

从计算的角度来看，这意味着通过计算平均值((6.45)右侧的第二项，含$N$项和)，然后计算方差((6.45)右侧的第一项，含$N$项和)，我们可以得到一个包含$N^2$项和的表达式((6.45)左侧)。

6.4.4 随机变量的和与变换

我们有时会对一种无法用教科书上的分布（我们在第6.5节和第6.6节中介绍了一些）很好地解释的现象进行建模，因此需要随机变量进行简单的操作（例如：两个随机变量相加）。

考虑两个随机变量$X,Y$，状态为$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^D$，那么：
$$\mathbb{E}[\mathbf{x}+\mathbf{y}]=\mathbb{E}[\mathbf{x}]+\mathbb{E}[\mathbf{y}](6.46)$$
$$\mathbb{E}[\mathbf{x}-\mathbf{y}]=\mathbb{E}[\mathbf{x}]-\mathbb{E}[\mathbf{y}](6.47)$$
$$\mathbb{V}[\mathbf{x}+\mathbf{y}]=\mathbb{V}[\mathbf{x}]+\mathbb{V}[\mathbf{y}]+\mathrm{Cov}[\mathbf{x},\mathbf{y}]+\mathrm{Cov}[\mathbf{y},\mathbf{x}](6.48)$$
$$\mathbb{V}[\mathbf{x}-\mathbf{y}]=\mathbb{V}[\mathbf{x}]+\mathbb{V}[\mathbf{y}]-\mathrm{Cov}[\mathbf{x},\mathbf{y}]-\mathrm{Cov}[\mathbf{y},\mathbf{x}](6.49)$$

均值和协方差在随机变量的仿射变换中表现出一些有用的特性。假设一个随机变量$X$的均值为$\mathbf{\mu }$，协方差矩阵为$\mathbf{\Sigma }$，且$X$的（确定性）仿射变换为：$\mathbf{y}=\mathbf{A}\mathbf{x}+\mathbf{b}$，$\mathbf{y}$本身就是一个随机变量意味着其均值向量和协方差矩阵分别由下式给出：
$${\mathbb{E}}_Y[\mathbf{y}]={\mathbb{E}}_X[\mathbf{A}\mathbf{x}+\mathbf{b}]=\mathbf{A}{\mathbb{E}}_X[\mathbf{x}]+\mathbf{b}=\mathbf{A}\mathbf{\mu }+\mathbf{b}(6.50)$$
$${\mathbb{V}}_Y[\mathbf{y}]={\mathbb{V}}_X[\mathbf{A}\mathbf{x}+\mathbf{b}]={\mathbb{V}}_X[\mathbf{A}\mathbf{x}]=\mathbf{A}{\mathbb{V}}_X[\mathbf{x}]{\mathbf{A}}^{\top }=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{\top }(6.51)$$

另外，
$$\begin{array}{rl}\mathrm{Cov}[\mathbf{x},\mathbf{y}]& =\mathbb{E}\left[\mathbf{x}(\mathbf{A}\mathbf{x}+\mathbf{b}{)}^{\top }\right]-\mathbb{E}[\mathbf{x}]\mathbb{E}[\mathbf{A}\mathbf{x}+\mathbf{b}{]}^{\top }\\ & =\mathbb{E}[\mathbf{x}]{\mathbf{b}}^{\top }+\mathbb{E}\left[\mathbf{x}{\mathbf{x}}^{\top }\right]{\mathbf{A}}^{\top }-\mathbf{\mu }{\mathbf{b}}^{\top }-\mathbf{\mu }{\mathbf{\mu }}^{\top }{\mathbf{A}}^{\top }\\ & =\mathbf{\mu }{\mathbf{b}}^{\top }-\mathbf{\mu }{\mathbf{b}}^{\top }+\left(\mathbb{E}\left[\mathbf{x}{\mathbf{x}}^{\top }\right]-\mathbf{\mu }{\mathbf{\mu }}^{\top }\right){\mathbf{A}}^{\top }\\ & =\mathbf{\Sigma }{\mathbf{A}}^{\top },\end{array}$$

其中$\mathbf{\Sigma }=\mathbb{E}\left[\mathbf{x}{\mathbf{x}}^{\top }\right]-\mathbf{\mu }{\mathbf{\mu }}^{\top }$为$X$的方差。

6.4.5 统计独立性

定义 6.10 (统计)独立性

两个随机变量$X,Y$是统计独立的(statistically independent)，当且仅当：
$$p(\mathbf{x},\mathbf{y})=p(\mathbf{x})p(\mathbf{y})$$

直观地说，两个随机变量$X$和$Y$是独立的，那么知道$Y$的值并不会添加关于$X$的任何附加信息（反之亦然）。如果$X$，$Y$是（统计上）独立的，那么
$$p(\mathbf{y}\mid \mathbf{x})=p(\mathbf{y})$$
$$p(\mathbf{x}\mid \mathbf{y})=p(\mathbf{x})$$
$${\mathbb{V}}_{X,Y}[\mathbf{x}+\mathbf{y}]={\mathbb{V}}_X[\mathbf{x}]+{\mathbb{V}}_Y[\mathbf{y}]$$
$${\mathrm{Cov}}_{X,Y}[\mathbf{x},\mathbf{y}]=0$$

最后一点是充分不必然的，即，两个随机变量的协方差为零，但在统计上可能不独立。为了理解为什么，回想一下协方差是只能测量线性相关。而非线性相关的随机变量可能协方差也为零。

例 6.5

考虑随机变量$X$，其均值为0（${\mathbb{E}}_X[x]=0$），且${\mathbb{E}}_X\left[x^2\right]=0$。令$y=x^3$($y$是独立于$x$的)，计算协方差：
$$\mathrm{Cov}[x,y]=\mathbb{E}[xy]-\mathbb{E}[x]\mathbb{E}[y]=\mathbb{E}\left[x^3\right]=0$$

在机器学习中，我们经常考虑可以建模为独立同分布（ independent and identically distributed，i.i.d.）的随机变量$X_1,...,X_N$的问题。对于两个以上的随机变量，“独立”一词（定义6.10）通常指相互独立的随机变量，其中所有子集都是独立的（见Pollard（2002年，第4章）和Jacod and Protter（2004年，第3章））。短语“同分布”意味着所有的随机变量都来自同一个分布。

另一个在机器学习中很重要的概念是条件独立性。

定义 6.11 条件独立性 (Conditional Independence)
两个随机变量$X$和$Y$在给定$Z$的条件下是独立的当且仅当
$$p(\mathbf{x},\mathbf{y}\mid \mathbf{z})=p(\mathbf{x}\mid \mathbf{z})p(\mathbf{y}\mid \mathbf{z})\text{ 对于任意}\mathbf{z}\in \mathcal{Z}(6.55)$$
其中$\mathcal{Z}$是随机变量$Z$的状态集。我们用$X\perp \perp Y\mid Z$来表示给定$Z$，$X$条件独立于$Y$。

定义6.11要求（6.55）中的关系必须适用于$\mathbf{z}$的每一个值。对（6.55）的解释可以理解为“给定关于$\mathbf{z}$的知识，$\mathbf{x}$和$\mathbf{y}$的分布被分解”。如果我们写$X\perp \perp Y\mid \varnothing$，独立性可以说是条件独立性的特例。利用概率的乘积法则（6.22），我们可以把（6.55）的左边展开得到

$$p(\mathbf{x},\mathbf{y}\mid \mathbf{z})=p(\mathbf{x}\mid \mathbf{y},\mathbf{z})p(\mathbf{y}\mid \mathbf{z})(6.56)$$

通过比较（6.55）和（6.56）的右边，我们可以看到它们都含$p(\mathbf{y}|\mathbf{z})$，因此
$$p(\mathbf{x}\mid \mathbf{y},\mathbf{z})=p(\mathbf{x}\mid \mathbf{z})(6.57)$$

方程（6.57）提供了条件独立性，即$X\perp \perp Y\mid Z$的另一种定义。这表示“假设我们知道$Z$，关于$Y$的知识不会改变我们对$X$的认识”。

6.4.6 随机变量的内积

回想一下第3.2节对内积的定义。我们也可以定义一个随机变量之间的内积，这将在本节介绍。如果我们有两个不相关的随机变量$X$，$Y$，那么
$$\mathbb{V}[x+y]=\mathbb{V}[x]+\mathbb{V}[y](6.58)$$
因为方差是用平方单位来度量的，所以这看起来很像直角三角形的勾股定理：$c^2=a^2+b^2$。

在下面，我们看看是否能在（6.58）中找到不相关随机变量方差关系的几何解释。

随机变量可以看作是向量空间中的向量，我们可以定义内积来获得随机变量的几何性质（Eaton，2007）。如果对于零均值随机变量$X$和$Y$，我们定义
$$⟨X,Y⟩:=\mathrm{Cov}[x,y]$$

我们得到了一个内积。我们看到协方差是对称的，正定的，并且在任何一个参数中都是线性的。
$$\begin{array}{l}\mathrm{Cov}[x,x]=0⟺x=0\\ \mathrm{Cov}[\alpha x+z,y]=\alpha \mathrm{Cov}[x,y]+\mathrm{Cov}[z,y]\text{ for }\alpha \in \mathbb{R}\end{array}$$

随机变量的长度是
$$\Vert X\Vert =\sqrt{\mathrm{Cov}[x,x]}=\sqrt{\mathbb{V}[x]}=\sigma [x]$$

即它的标准差。随机变量越长，不确定性越大；长度为0的随机变量是确定性的。

如果我们考虑两个随机变量$X$，$Y$之间的夹角$\theta$，我们得到
$$\cos \theta =\frac{⟨X,Y⟩}{\Vert X\Vert \Vert Y\Vert }=\frac{\mathrm{Cov}[x,y]}{\sqrt{\mathbb{V}[x]\mathbb{V}[y]}}$$

这是两个随机变量之间的相关性（定义6.8）。这意味着，当我们从几何角度考虑两个随机变量时，我们可以把它们的相关性看作是两个随机变量之间夹角的余弦。根据定义3.7，我们知道$X\perp Y⟺⟨X,Y⟩=0$。在我们的例子中，这意味着$X$和$Y$是正交的当且仅当$Cov[X，Y]=0$，即它们是不相关的。图6.6说明了这种关系。

图6.6 随机变量的几何。如果随机变量$X$和$Y$不相关，则它们是对应向量空间中的正交向量，且勾股定理也适用。

备注：
使用之前内积定义的欧几里得距离来比较概率分布似乎是个不错的选择，但不幸的是，这不是获得分布之间距离的最佳方法。回想一下，概率质量(或密度)是正的，需要加起来等于1。这些限制意味着分布存在于一种叫做统计流形(statistical manifold)的东西上。对概率分布空间的研究被称为信息几何( information geometry)。计算分布之间的距离通常使用Kullback-Leibler散度(KL散度)来完成，它是距离的推广，它解释了统计流形的性质。正如欧氏距离是矩阵的一种特殊情况一样(第3.3节)，KL散度是另外两种广义散度的一种特殊情况，它们被称为Bregman散度和$f$-散度。关于它们区别的研究超出了这本书的范围，读者可以参考信息几何领域的创始人之一Amari(2016)的新书了解更多细节。

6.5 高斯分布

高斯分布是被研究得最充分的连续型随机变量的概率分布。它也被称为正态分布(normal distribution)。它的重要性源于它具有许多方便计算的性质，我们将在下文中讨论这些性质。特别地，我们将使用它来定义线性回归的似然和先验(第9章)，以及应用于密度估计中的的高斯混合模型(第11章)。

还有许多其他的机器学习领域也受益于使用高斯分布，例如高斯过程，变分推理和强化学习。它也广泛应用于其他应用领域，如信号处理(如卡尔曼滤波器)、控制(如线性二次调节器)和统计(如假设检验)。

对于一个单变量随机变量，高斯分布的密度为：
$$p\left(x\mid \mu ,{\sigma }^2\right)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)(6.62)$$

多元高斯分布可由均值向量$\mu$和协方差矩阵$\mathbf{\Sigma }$充分描述，定义为
$$p(\mathbf{x}\mid \mathbf{\mu },\mathbf{\Sigma })=(2\pi {)}^{-\frac{D}{2}}|\mathbf{\Sigma }{|}^{-\frac{1}{2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right)$$

其中$\mathbf{x}\in {\mathbb{R}}^D$，我们写成$p(\mathbf{x})=\mathcal{N}(\mathbf{x}\mid \mathbf{\mu },\mathbf{\Sigma })$或$X\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$

图 6.7两个随机变量$x_1$和$x_2$的高斯分布。

图 6.8 呈高斯分布的100个样本点。(a)单变量：红色的十字表示平均值，红色的线表示方差的程度。(b)双变量：红色的叉表示平均值，彩色的线表示密度的等高线。

图6.7显示了具有相应等高线图的双变量高斯分布（网格）。图6.8显示了呈一元高斯分布和二元高斯分布的相应样本点。

具有零均值和单位协方差的高斯分布，即$\mathbf{\mu }=0$和$\mathbf{\Sigma }=I$，称为标准正态分布(standard normal distribution)。

高斯分布在统计估计和机器学习中有着广泛的应用，因为它们有封闭形式的边缘分布和条件分布。在第9章中，我们在线性回归中将广泛地使用这些封闭形式的表达式。使用高斯随机变量建模的一个主要优点是变量变换(第6.7节)。由于高斯分布完全由其均值和协方差来表示，我们通常可以通过对随机变量的均值和协方差进行变换来得到变换后的分布。

6.5.1 高斯分布的边缘分布和条件分布是高斯分布

在下文中，我们将考虑多元随机变量的边缘分布和条件分布的一般情况。如果在第一次阅读时感到迷惑，建议读者考虑两个一元随机变量的情况。（多元统计分析：https://www.bilibili.com/video/BV1Zj411f7KF）设$X$和$Y$是两个多元随机变量，它们可能有不同的维数。为了考虑应用概率的加法法则和条件概率的影响，我们显式地用向量连接的形式$\left[{\mathbf{x}}^{\top },{\mathbf{y}}^{\top }\right]$表示高斯分布：
$$p(\mathbf{x},\mathbf{y})=\mathcal{N}\left(\left[\begin{array}{l}{\mathbf{\mu }}_x\\ {\mathbf{\mu }}_y\end{array}\right],\left[\begin{array}{ll}{\mathbf{\Sigma }}_{xx}& {\mathbf{\Sigma }}_{xy}\\ {\mathbf{\Sigma }}_{yx}& {\mathbf{\Sigma }}_{yy}\end{array}\right]\right)(6.64)$$

其中${\mathbf{\Sigma }}_{xx}=\mathrm{Cov}[\mathbf{x},\mathbf{x}]$和${\mathbf{\Sigma }}_{yy}=\mathrm{Cov}[\mathbf{y},\mathbf{y}]$分别为$\mathbf{x}$和$\mathbf{y}$的边缘协方差矩阵。而${\mathbf{\Sigma }}_{xy}=\mathrm{Cov}[\mathbf{x},\mathbf{y}]$是$\mathbf{x}$和$\mathbf{y}$之间的互协方差矩阵。

条件分布$p(\mathbf{x}\mid \mathbf{y})$也是高斯分布(如图6.9（c）)：
$$p(\mathbf{x}\mid \mathbf{y})=\mathcal{N}\left({\mathbf{\mu }}_{x\mid y},{\mathbf{\Sigma }}_{x\mid y}\right)$$

$${\mathbf{\mu }}_{x\mid y}={\mathbf{\mu }}_x+{\mathbf{\Sigma }}_{xy}{\mathbf{\Sigma }}_{yy}^{-1}\left(\mathbf{y}-{\mathbf{\mu }}_y\right)（6.66）$$

$${\mathbf{\Sigma }}_{x\mid y}={\mathbf{\Sigma }}_{xx}-{\mathbf{\Sigma }}_{xy}{\mathbf{\Sigma }}_{yy}^{-1}{\mathbf{\Sigma }}_{yx}（6.67）$$

注意，在计算（6.66）中的平均值时， $\mathbf{y}$值是一个观察值，且不再是随机的。

备注：
条件高斯分布出现在我们对后验分布感兴趣的场景：

• 卡尔曼滤波(Kalman filter, 1960)是信号处理中最核心的状态估计算法之一，核心是计算联合分布的高斯条件分布(Deisenroth和Ohlsson, 2011;萨克，2013)。
• 高斯过程(Rasmussen和Williams, 2006)，这是一个分布函数的实际实现。在高斯过程中，我们假设随机变量的联合分布符合高斯分布。通过观测数据的(高斯)条件分布，我们可以确定函数的先验分布。
• 潜在线性高斯模型(Roweis and Ghahramani, 1999;Murphy, 2012)，其中包括概率主成分分析(probabilistic principal component analysis, PPCA) (Tipping and Bishop, 1999)。我们将在第10.7节中更详细地讨论PPCA。

联合高斯分布$p(\mathbf{x},\mathbf{y})$(见(6.64))的边缘分布$p(\mathbf{x})$本身是高斯分布，可通过应用加法法则计算得到：
$$p(\mathbf{x})=\int p(\mathbf{x},\mathbf{y})\mathrm{d}\mathbf{y}=\mathcal{N}\left(\mathbf{x}\mid {\mathbf{\mu }}_x,{\mathbf{\Sigma }}_{xx}\right)(6.68)$$

相应的结果也适用于$p(\mathbf{y})$，通过对$\mathbf{x}$进行边缘化即可得到的。直观地看，我们忽略（即，积分出）（6.64）中的联合分布我们不感兴趣的一切。如图6.9（b）所示。

例 6.6：

图 6.9(a)二维高斯分布;(b)联合高斯分布的边缘分布为高斯分布;(c )高斯分布的条件分布也是高斯分布。

考虑双变量高斯分布（如图6.9所示）：
$$p\left(x_1,x_2\right)=\mathcal{N}\left(\left[\begin{array}{l}0\\ 2\end{array}\right],\left[\begin{array}{cc}0.3& -1\\ -1& 5\end{array}\right]\right)$$

给定条件是$x_2=-1$，我们可以通过应用（6.66）和（6.67）分别获得均值和方差来计算单变量高斯分布的参数：
$${\mu }_{x_1\mid x_2=-1}=0+(-1)\cdot 0.2\cdot (-1-2)=0.6$$
和
$${\sigma }_{x_1\mid x_2=-1}^2=0.3-(-1)\cdot 0.2\cdot (-1)=0.1$$

因此，条件高斯分布由下式给出
$$p\left(x_1\mid x_2=-1\right)=\mathcal{N}(0.6,0.1)$$

相比之下，边缘分布$p(x_1)$可以通过应用（6.68）得到，使用了随机变量$x_1$的均值和方差，得到
$$p\left(x_1\right)=\mathcal{N}(0,0.3)$$

6.5.2高斯密度乘积

对于线性回归（第9章），我们需要计算一个高斯似然函数。此外，我们可能希望假设高斯分布作为先验（第9.3节）。我们应用贝叶斯定理来计算后验概率，结果是似然概率和先验概率的乘积，即两个高斯密度的乘积。两个高斯函数的乘积$\mathcal{N}(\mathbf{x}\mid \mathbf{a},\mathbf{A})\mathcal{N}(\mathbf{x}\mid \mathbf{b},\mathbf{B})$得到的是一个由$c\in \mathbb{R}$缩放的高斯分布$c\mathcal{N}(\mathbf{x}\mid \mathbf{c},\mathbf{C})$，其中：
$$\mathbf{C}={\left({\mathbf{A}}^{-1}+{\mathbf{B}}^{-1}\right)}^{-1}$$
$$\mathbf{c}=\mathbf{C}\left({\mathbf{A}}^{-1}\mathbf{a}+{\mathbf{B}}^{-1}\mathbf{b}\right)$$
$$c=(2\pi {)}^{-\frac{D}{2}}|\mathbf{A}+\mathbf{B}{|}^{-\frac{1}{2}}\exp \left(-\frac{1}{2}(\mathbf{a}-\mathbf{b}{)}^{\top }(\mathbf{A}+\mathbf{B}{)}^{-1}(\mathbf{a}-\mathbf{b})\right)（6.76）$$

缩放常数$c$本身可以写成以$\mathbf{a}$或$\mathbf{b}$为均值并具有“膨胀的”的协方差矩阵$\mathbf{A}+\mathbf{B}$的高斯密度形式，，即$c=\mathcal{N}(\mathbf{a}\mid \mathbf{b},\mathbf{A}+\mathbf{B})=\mathcal{N}(\mathbf{b}\mid \mathbf{a},\mathbf{A}+\mathbf{B})$

备注：
为了便于标记，我们有时会用$\mathcal{N}(\mathbf{x}\mid \mathbf{m},\mathbf{S})$来描述高斯密度的函数形式，即使$\mathbf{x}$不是随机变量。在前面的证明中，我们已经使用了这种写法：
$$c=\mathcal{N}(\mathbf{a}\mid \mathbf{b},\mathbf{A}+\mathbf{B})=\mathcal{N}(\mathbf{b}\mid \mathbf{a},\mathbf{A}+\mathbf{B})$$

这里，$\mathbf{a}$和$\mathbf{b}$都不是随机变量。然而，$c$用这种方式写比（6.76）更紧凑。

6.5.3 和与线性变换

如果$X,Y$为独立的高斯随机变量(即联合分布为$p(\mathbf{x},\mathbf{y})=p(\mathbf{x})p(\mathbf{y}))$且$p(\mathbf{x})=\mathcal{N}\left(\mathbf{x}\mid {\mathbf{\mu }}_x,{\mathbf{\Sigma }}_x\right),p(\mathbf{y})=\mathcal{N}\left(\mathbf{y}\mid {\mathbf{\mu }}_y,{\mathbf{\Sigma }}_y\right)$)，那么$\mathbf{x}+\mathbf{y}$仍然为高斯分布：
$$p(\mathbf{x}+\mathbf{y})=\mathcal{N}\left({\mathbf{\mu }}_x+{\mathbf{\mu }}_y,{\mathbf{\Sigma }}_x+{\mathbf{\Sigma }}_y\right)$$

知道$p(\mathbf{x}+\mathbf{y})$是高斯的，可以使用（6.46）到（6.49）的结果立即确定均值和协方差矩阵。当我们考虑作用在随机变量上的独立同分布高斯噪声时，这一性质将非常重要，线性回归就是这样（第9章）。

例 6.7
由于期望是线性运算，我们可以得到独立高斯随机变量的加权和
$$p(a\mathbf{x}+b\mathbf{y})=\mathcal{N}\left(a{\mathbf{\mu }}_x+b{\mathbf{\mu }}_y,a^2{\mathbf{\Sigma }}_x+b^2{\mathbf{\Sigma }}_y\right)$$

备注：
第11章中有一个例子是高斯密度的加权和。这不同于高斯随机变量的加权和。

在定理6.12中，随机变量$x$来自一个密度，该密度是两个密度$p_1(x)$和$p_2(x)$的混合，由$\alpha$加权。这个定理可以推广到多元随机变量的情况，因为期望的线性也适用于多元随机变量。但是，随机变量的平方需要被$\mathbf{x}{\mathbf{x}}^{\top }$取代。

定理 6.12
考虑两个单变量高斯密度的混合
$$p(x)=\alpha p_1(x)+(1-\alpha )p_2(x)(6.80)$$

其中标量$0<\alpha <1$为混合权重( mixture weight)，$p_1(x)$和$p_2(x)$为不同参数的单变量高斯密度函数（等式6.62）,即$\left({\mu }_1,{\sigma }_1^2\right)\ne \left({\mu }_2,{\sigma }_2^2\right)$

然后混合密度函数$p(x)$的平均值由每个随机变量均值的加权和给出：
$$\mathbb{E}[x]=\alpha {\mu }_1+(1-\alpha ){\mu }_2$$

混合密度函数$p(x)$的方差则由下式给出
$$\mathbb{V}[x]=\left[\alpha {\sigma }_1^2+(1-\alpha ){\sigma }_2^2\right]+\left(\left[\alpha {\mu }_1^2+(1-\alpha ){\mu }_2^2\right]-{\left[\alpha {\mu }_1+(1-\alpha ){\mu }_2\right]}^2\right)$$

证明：
混合密度$p(x)$的平均值由每个随机变量均值的加权和给出。我们利用均值的定义（定义6.4），然后代入混合密度函数（6.80），得到
$$\mathbb{E}[x]={\int }_{-\infty }^{\infty }xp(x)\mathrm{d}x$$
$$={\int }_{-\infty }^{\infty }\left(\alpha x{p}_1(x)+(1-\alpha )x{p}_2(x)\right)\mathrm{d}x$$
$$=\alpha {\int }_{-\infty }^{\infty }x{p}_1(x)\mathrm{d}x+(1-\alpha ){\int }_{-\infty }^{\infty }x{p}_2(x)\mathrm{d}x$$
$$=\alpha {\mu }_1+(1-\alpha ){\mu }_2(6.83d)$$

为了计算方差，我们可以使用（6.44）方差的原始分数版本，这需要一个平方随机变量的期望的表达式。这里我们利用随机变量的函数（平方）的期望的定义（定义6.3），
$$\mathbb{E}\left[x^2\right]={\int }_{-\infty }^{\infty }{x}^{2}p(x)\mathrm{d}x$$
$$={\int }_{-\infty }^{\infty }\left(\alpha x^2{p}_1(x)+(1-\alpha )x^2{p}_2(x)\right)\mathrm{d}x$$
$$=\alpha {\int }_{-\infty }^{\infty }{x}^2{p}_1(x)\mathrm{d}x+(1-\alpha ){\int }_{-\infty }^{\infty }{x}^2{p}_2(x)\mathrm{d}x$$
$$=\alpha \left({\mu }_1^2+{\sigma }_1^2\right)+(1-\alpha )\left({\mu }_2^2+{\sigma }_2^2\right)(6.84d)$$

在最后一个等式中，我们再次使用了方差的原始分数版本（6.44）${\sigma }^2=\mathbb{E}\left[x^2\right]-{\mu }^2$。这使得一个随机变量平方的期望是平均值平方和方差的总和。

因此，方差由（6.84d）减去（6.83d）得到：
$$\mathbb{V}[x]=\mathbb{E}\left[x^2\right]-(\mathbb{E}[x]{)}^2$$
$$=\alpha \left({\mu }_1^2+{\sigma }_1^2\right)+(1-\alpha )\left({\mu }_2^2+{\sigma }_2^2\right)-{\left(\alpha {\mu }_1+(1-\alpha ){\mu }_2\right)}^2$$
$$=\left[\alpha {\sigma }_1^2+(1-\alpha ){\sigma }_2^2\right]+\left(\left[\alpha {\mu }_1^2+(1-\alpha ){\mu }_2^2\right]-{\left[\alpha {\mu }_1+(1-\alpha ){\mu }_2\right]}^2\right)(6.85c)$$

备注：
前面的推导适用于任何密度，但由于高斯分布完全由均值和方差决定，所以其混合密度有封闭表达式。

对于混合密度，单个组成成分可视为条件分布（以其本身的组成成分为条件）。方程（6.85c）是条件方差公式的一个例子，也被称为全方差定律(law of total variance)，它通常说明，对于两个随机变量$X$和$Y$，它认为${\mathbb{V}}_X[x]={\mathbb{E}}_Y\left[{\mathbb{V}}_X[x\mid y]\right]+{\mathbb{V}}_Y\left[{\mathbb{E}}_X[x\mid y]\right]$，即$X$的（全）方差是条件方差的期望加上条件均值的方差。

我们在例6.17中考虑了一个二元标准高斯随机变量$X$，并对其进行了线性变换$\mathbf{A}\mathbf{x}$。结果是一个均值为零、协方差为
$\mathbf{A}{\mathbf{A}}^{\top }$的高斯随机变量。观察到再添加一个常量向量将改变分布的均值，而不影响其方差，即随机变量$\mathbf{x}+\mathbf{\mu }$是具有平均值$\mathbf{\mu }$和单位协方差的高斯分布。因此，高斯随机变量的任何线性/仿射变换后依然服从高斯分布。

考虑一个高斯分布的随机变量$X\sim \mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$。对于一个适当形状的给定矩阵$\mathbf{A}$，让$Y$是一个随机变量，使得$\mathbf{y}=\mathbf{A}\mathbf{x}$是$\mathbf{x}$的一个变换版本。我们可以通过利用期望是一个线性算子（6.50）来计算$\mathbf{y}$的均值，如下所示：
$$\mathbb{E}\mid \mathbf{y}\rfloor =\mathbb{E}[\mathbf{A}\mathbf{x}]=\mathbf{A}\mathbb{E}\mid \mathbf{x}\rfloor =\mathbf{A}\mathbf{\mu }$$

类似地，$\mathbf{y}$的方差可以通过使用（6.51）求得：
$$\mathbb{V}[\mathbf{y}]=\mathbb{V}[\mathbf{A}\mathbf{x}]=\mathbf{A}\mathbb{V}[\mathbf{x}]{\mathbf{A}}^{\top }=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{\top }$$

这意味着随机变量$\mathbf{y}$服从分布：
$$p(\mathbf{y})=\mathcal{N}\left(\mathbf{y}\mid \mathbf{A}\mathbf{\mu },\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{\top }\right)$$

现在让我们考虑反向变换：当我们知道一个随机变量的平均值是另一个随机变量的线性变换时。对于给定的满秩矩阵$\mathbf{A}\in {\mathbb{R}}^{M\times N}$，其中$M\ge N$，设$\mathbf{y}\in {\mathbb{R}}^M$为均值为$\mathbf{A}\mathbf{x}$的高斯随机变量，即：
$$p(\mathbf{y})=\mathcal{N}(\mathbf{y}\mid \mathbf{A}\mathbf{x},\mathbf{\Sigma })$$

那么对应的概率分布$p(\mathbf{x})$是什么？如果$\mathbf{A}$是可逆的，那么我们可以写$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{y}$并应用上一段中的变换。然而，一般来说$\mathbf{A}$是不可逆的，我们使用了一种类似于伪逆（3.57）的方法。也就是说，我们用${\mathbf{A}}^{\top }$将两边相乘，然后两边左乘${\mathbf{A}}^{\top }\mathbf{A}$的逆，${\mathbf{A}}^{\top }\mathbf{A}$是对称的，正定的，得到以下关系：
$$\mathbf{y}=\mathbf{A}\mathbf{x}⟺{\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}{\mathbf{A}}^{\top }\mathbf{y}=\mathbf{x}$$

因此，$\mathbf{x}$是$\mathbf{y}$的线性变换，我们得到
$$p(\mathbf{x})=\mathcal{N}\left(\mathbf{x}\mid {\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}{\mathbf{A}}^{\top }\mathbf{y},{\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}{\mathbf{A}}^{\top }\mathbf{\Sigma }\mathbf{A}{\left({\mathbf{A}}^{\top }\mathbf{A}\right)}^{-1}\right)$$

6.5.4 多元高斯分布取样

我们将不解释在计算机上随机取样的细节，感兴趣的读者请参阅Gentle (2004)。在多元高斯的情况下，这个过程包括三个阶段：

首先，我们需要一个伪随机数源，它从区间[0,1]中提供一个均匀的样本；

其次，我们使用非线性变换，如Box-Muller变换（Devroye，1986）从一元高斯分布中获得样本；

最后，我们把这些样本整理成向量，从多元标准正态分布$\mathcal{N}(0,\mathbf{I})$得到一个样本。

对于一般的多元高斯分布，即均值不为零，协方差不是单位矩阵的情形，我们则利用高斯随机变量线性变换的性质。假设我们想得到来自均值$\mathbf{\mu }$和协方差矩阵为$\mathbf{\Sigma }$的多元高斯分布的样本${\mathbf{x}}_i,i=1,\dots ,n$。那么我们可以从提供多元标准正态分布$\mathcal{N}(0,\mathbf{I})$样本的采样器中构造样本。

为了从多元正态分布$\mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$中获得样本，我们可以使用高斯随机变量线性变换的性质：如果$\mathbf{x}\sim \mathcal{N}(0,\mathbf{I})$，则$\mathbf{y}=\mathbf{A}\mathbf{x}+\mathbf{\mu }$是均值为$\mathbf{\mu }$，协方差矩阵为$\mathbf{\Sigma }$的高斯分布，其中$\mathbf{A}{\mathbf{A}}^{\top }=\mathbf{\Sigma }$。$\mathbf{A}$的一个推荐选择是使用协方差矩阵$\mathbf{\Sigma }=\mathbf{A}{\mathbf{A}}^{\top }$的Cholesky分解（第4.3节）。Cholesky分解得到的$\mathbf{A}$是三角形的，从而能提高计算效率。

翻译自：
《MATHEMATICS FOR MACHINE LEARNING》作者是 Marc Peter Deisenroth，A Aldo Faisal 和 Cheng Soon Ong

公众号后台回复【m4ml】即可获取这本书。

另外，机器学习的数学基础.pdf