PCA(用数学原理进行推导和解释)

首发于 我不爱机器学习 公众号，微信号：learning_free

在学PCA的时候总是提到根据方差选主成分，方差计算贡献率之类的，但一直不明白其中的原理，今天就来给大家解析一下。

首先是一些数学公式，大家可以找一些例子证明一下，这里就不证明了。

1、相关数学知识

1.1 均值

x={1,2,3}
$$\begin{array}{rl}E[a+x]& =a+E[x]\\ E[\alpha x]& =\alpha E[x]\\ E[\alpha x+a]& =\alpha E[x]+a\end{array}$$

1.2 方差

$$\begin{array}{rl}\mathrm{V}\mathrm{a}\mathrm{r}[a+x]& =\mathrm{V}\mathrm{a}\mathrm{r}[x]\\ \mathrm{V}\mathrm{a}\mathrm{r}[\alpha x]& ={\alpha }^2\mathrm{V}\mathrm{a}\mathrm{r}[x]\\ \mathrm{V}\mathrm{a}\mathrm{r}[Ax+b]& =A\mathrm{V}\mathrm{a}\mathrm{r}[x]A^T\end{array}$$

2、相关向量知识

2.1 向量的长度

对于向量x,y：$x^{T}y={\sum }_{i=1}^N{x}_i{y}_i,x,y\in {\mathbb{R}}^N$，其中向量 x=[1,2]，向量 y=[2,1]，如下图所示。​​

向量x的长度：$||x||=\sqrt{x^{T}x}=\sqrt{{\sum }_{i=1}^N{x}_i^2}=\sqrt{1^2+2^2}=\sqrt{5}$

向量y的长度：$||y||=\sqrt{5}$

向量的距离(两点之间的距离）：
$$\begin{array}{rl}d& =||x-y||=\sqrt{(x-y{)}^T(x-y)}\\ & =\Vert \left[\begin{array}{c}1\\ 2\end{array}\right]-\left[\begin{array}{c}2\\ 1\end{array}\right]\Vert =\Vert \left[\begin{array}{c}-1\\ 1\end{array}\right]\Vert =\sqrt{1+1}=\sqrt{2}\end{array}$$
向量之间的夹角：$\mathrm{c}\mathrm{o}\mathrm{s}\alpha =\frac{x^{T}y}{\Vert x\Vert \Vert y\Vert }=\frac{4}{5}\approx 0.64\mathrm{r}\mathrm{a}\mathrm{d}$

2.2 内积定义（inner product definition)

x,y都是向量即 $x,y\in V$，向量内积的表示： $<\cdot ,\cdot >=V\ast V,\in \mathbb{R}$

内积的属性：

• 对称性（symmetry）：$<x,y>=<y,x>$

• 正定（positive definite）：$<x,x>\ge 0,<x,x>⩾0$，当 $x=0$ 时 $<x,x>=0$

• 双线性（bilinear）：对于 $x,y,z\in V,\lambda \in \mathbb{R}$
  $$\begin{array}{rl}<\lambda x+z,y>& =\lambda <x,y>+<z,y>\\ <x,\lambda y+z>& =\lambda <x,y>+<x,z>\end{array}$$

上述两向量x,y 的点乘可以用内积表示为：

$$<x,y>=x^T\mathbf{I}y$$，其中 $\mathbf{I}$ 是单位矩阵。

上述是正常情况下两向量之间的点乘（dot product），在内积中是这样定义的：$$<x,y>=x^T\mathbf{A}y$$
，其中 $\mathbf{A}$ 是半正定矩阵

注：个人感觉内积是点乘的扩展，应用的范围更广一点。

若$\mathbf{A}=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$，则$<x,y>=x^T\mathbf{A}y=2x_1{y}_1+x_2{y}_1+x_1{y}_2+2x_2{y}_2$

内积定义下表示向量的长度和距离：

此时向量 x 的长度为：$$\begin{array}{rl}||x||=\sqrt{<x,x>}& =\sqrt{2x_1{x}_1+x_2{x}_1+x_1{x}_2+2x_2{x}_2}\\ & =\sqrt{2x_1^2+2x_2{x}_1+2x_2^2}=\sqrt{14}\end{array}$$
此时，内积下的向量长度比点乘下的大。

向量的距离：
$$\begin{array}{rl}d=||x-y||& =\sqrt{<x-y,x-y>}\\ & =\sqrt{<x,x>-2<x,y>+<y,y>}\\ & =\sqrt{14-2\ast 14+14}=0\end{array}$$

此时，内积下的向量距离与上面点乘下的距离不同。

由上可知，通过内积计算向量的长度和距离可以不同。

内积定义下的向量夹角：$\mathrm{c}\mathrm{o}\mathrm{s}\alpha =\frac{<x,y>}{\Vert x\Vert \Vert y\Vert }$

注：在点乘下，两向量的夹角是90度，但在内积中两向量的夹角可能不是90度。

其他一些属性：

• $||\lambda x||=|\lambda |\Vert x\Vert$
• triangle inequality：$||x+y||\le \Vert x\Vert +\Vert y\Vert$
• Cauchy-Schwart inequality：$|<x,y>|\le \Vert x\Vert \Vert y\Vert$

函数和随机变量的内积：

a 函数的内积（连续变量）：定义两个函数 u 和 v，其在 [a,b] 范围内的内积为：
$$<u,v>={\int }_a^{b}u(x)v(x)\mathrm{d}x$$
如果积分为 0，则两个函数 u 和 v 正交（orthogonality）。

若 $u(x)=sin(x)$，v(x)=cos(x)，则 f(x)=u(x)v(x)。

因为 $f(x)$ 是奇函数，所以在 $[-\pi ,\pi ]$ 范围内其积分为 0，即函数 u 和 v 正交。

b 随机变量的内积（离散变量）：

若两随机变量之间不相关：$\mathrm{v}\mathrm{a}\mathrm{r}[x+y]=\mathrm{v}\mathrm{a}\mathrm{r}[x]+\mathrm{v}\mathrm{a}\mathrm{r}[y]$

因为 var 是平方所得，所以上式类似直角三角形定理 $c^2=a^2+b^2$，如下图所示（Pythagorean theorem），下图是几何解释。

$不相关的两随机变量的内积为：$ $<x,y>=cov[x,y]$，协方差满足内积的三个属性。
$$\begin{array}{rl}cov[\lambda x+y,z]& =\lambda cov[x,z]+cov[y,z]\\ \mathrm{c}\mathrm{o}\mathrm{s}\alpha & =\frac{<x,y>}{\Vert x\Vert \Vert y\Vert }=\frac{\mathrm{c}\mathrm{o}\mathrm{v}[x,y]}{\sqrt{\mathrm{v}\mathrm{a}\mathrm{r}[x]\mathrm{v}\mathrm{a}\mathrm{r}[y]}}\\ ||x||& =\sqrt{cov[x,x]}=\sqrt{var[x]}=\sigma (x)\end{array}$$

2.3 向量的投影

a 投影到一维空间：

如下图所示，设向量x在u上的投影为向量 ${\pi }_u(x)$ 则：

• ${\pi }_u(x)\in u\Rightarrow \exists \lambda \in \mathbb{R}:{\pi }_u(x)=\lambda b$

• 向量x在u上的投影向量正交于向量 ${\pi }_u(x)-x$，则 $⟨b,{\pi }_u(x)-x⟩=0$

• 为什么是正交，因为只有正交时，向量x在u上的投影最大，与x向量的长度最接近
  $$\begin{array}{rl}& ⟨b,{\pi }_u(x)-x⟩=0\\ \Rightarrow & ⟨b,{\pi }_u(x)⟩-⟨b,x⟩=0\\ \Rightarrow & ⟨b,\lambda b⟩-⟨b,x⟩=0\\ \Rightarrow & \lambda ||b|{|}^2-<b,x>=0\\ \Rightarrow & \lambda =\frac{<b,x>}{||b|{|}^2}\\ \Rightarrow & {\pi }_u(x)=\lambda b=\lambda =\frac{<b,x>}{||b|{|}^2}b=\frac{b^{T}xb}{||b|{|}^2}=\frac{b{b}^T}{||b|{|}^2}x\end{array}$$

，式中 $\frac{b{b}^T}{||b|{|}^2}$是投影矩阵。

假设 $||b||=1$，则$\lambda =<b,x>=b^{T}x$，${\pi }_u(x)=b^{T}xb=b{b}^{T}x$。

例：若$\vec{b}=\left[\begin{array}{c}2\\ 1\end{array}\right],\vec{x}=\left[\begin{array}{c}1\\ 2\end{array}\right]$(下图所示），则${\pi }_u(x)=\frac{b^{T}x}{||b|{|}^2}b=\frac{4}{5}\left[\begin{array}{c}2\\ 1\end{array}\right]$，即向量x在u上的投影长度为 $||{\pi }_u(x)||=\frac{4}{5}||b||$。

b 投影到高维空间

假设向量x是三维向量即 $x\in {\mathbb{R}}^3$，将其投影到二维空间上，特征（降维）空间 $u=[b_1,b_2]$，如下图所示：

则向量x在u平面上的投影长度为：${\pi }_u(x)={\lambda }_1{b}_1+{\lambda }_2{b}_2$，则有：
$$\begin{array}{r}⟨b_1,{\pi }_u(x)-x⟩=0\\ ⟨b_2,{\pi }_u(x)-x⟩=0\end{array}$$
D 维空间投影到 M 维空间的一般形式：$\lambda =[{\lambda }_1,...,{\lambda }_M{]}^T,M\times 1$，$B=[b_1|...|b_M{]}^T,D\times M$

1.${\pi }_u(x)={\sum }_{i=1}^M{\lambda }_i{b}_i$（成分的线性组合）

2.$⟨b_i,{\pi }_u(x)-x⟩=0,i=1,...,M$（正交）
$$\begin{array}{rl}{\pi }_u(x)& =B\lambda \\ ⟨b_i,B\lambda ⟩-⟨b_i,x⟩& =0\\ {\lambda }^T{B}^T{b}_i-x^T{b}_i& =0\\ {\lambda }^T{B}^{T}B-x^{T}B& =0\\ {\lambda }^T& =x^{T}B(B^{T}B{)}^{-1}\\ \lambda & =(B^{T}B{)}^{-1}{B}^{T}x\\ {\pi }_u(x)& =B\lambda =B(B^{T}B{)}^{-1}{B}^{T}x=B{B}^{T}x\end{array}$$

$B(B^{T}B{)}^{-1}{B}^T$是投影矩阵（projection matrix）。

例：三维投影到二维上 $\vec{x}=[2,1,1{]}^T,b_1=[1,2,0{]}^T,b_2=[1,1,0{]}^T,u=[b_1,b_2]$，求其投影，如下图所示：

因为 $b_1=[1,2,0{]}^T,b_2=[1,1,0{]}^T$ 的第三维均为 0，所以 $u$ 是一个二维平面（图中向上的箭头是第三维数据）。

由上得：

$$\begin{array}{rl}{\pi }_u(x)& =B\lambda \\ B=[b_1|b_2]& =\left[\begin{array}{cc}1& 1\\ 2& 1\\ 0& 0\end{array}\right]\\ B^{T}x& =\left[\begin{array}{c}4\\ 3\end{array}\right]\\ B^{T}B& =\left[\begin{array}{cc}5& 3\\ 3& 2\end{array}\right]\end{array}$$

$$\begin{array}{rl}\lambda & =(B^{T}B{)}^{-1}{B}^{T}x\\ B^{T}B\lambda & =B^{T}x\\ \lambda & =\left[\begin{array}{c}-1\\ 3\end{array}\right]\\ {\pi }_u(x)& =-1\times b_1+3\times b_2=\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right]\end{array}$$

由上所得，投影向量 ${\pi }_u(x)$ 是一个三维向量，但其第三个成分是 0 ，虽然是个三维向量，但是可以用二维坐标表示。上面的 $b_1,b_2$ 的第三成分也是0，这就是将向量x从多维降到低维空间的压缩原理。

3、PCA

3.1 PCA 原理

假设 X= { x_1,…,x_N }， $x_i\in {\mathbb{R}}^D$ ，PCA 的目标是找到一个低维空间能够表示数据并尽可能的与 X 相似。

再了解PCA之前，先了解一些概念：

a D 维空间的向量可以用基向量（basis vectors）的线性组合表示：$x_n={\sum }_{i=1}^D{\beta }_{in}{b}_i$，这里的基向量是指D维空间中的向量，类似坐标轴。

b 由 a 可知：${\beta }_{in}=x_n^T{b}_i$

c 从 D 维空间中选择前 M 个 $b_i$ 作为正交基础向量（orthogonality basis vectors），即 $B=[b_1|...|b_M]$

向量 x 的投影向量为：$\tilde{x}=B{B}^{T}x$， $B^{T}x$叫做 coord or code。

PCA的主要想法是找到一个低维，可以用更少的基向量组成的 ${\tilde{x}}_n$ 表示 $x_n$， 假设在M维空间中数据是中心化的，即数据的均值为0（$E(x)=0$）。假设 $b_1\sim b_D$ 是 ${\mathbb{R}}^D$ 的正交基础向量，则：

向量 $x_n$ 在 M维空间的投影为：${\tilde{x}}_n={\sum }_{i=1}^M{\beta }_{in}{b}_i+{\sum }_{i=M+1}^D{\beta }_{in}{b}_i,{\tilde{x}}_n\in {\mathbb{R}}^D$

在PCA中会忽视第二项，所以${\tilde{x}}_n={\sum }_{i=1}^M{\beta }_{in}{b}_i,{\tilde{x}}_n\in {\mathbb{R}}^D$

基向量 $b_1\sim b_D$ 构成的子空间叫做 principle subspace, 即 $b_1\sim b_D$span the principle subspace.

虽然 ${\tilde{x}}_n$ 是 D 维向量，但是存在于 D 维的子空间 M 维中。

上述中需要调节的参数有 ${\beta }_{in},b_i$：，对此可以构建平方差损失函数求得：$J=\frac{1}{N}{\sum }_{n=1}^N{\Vert x_n,{\tilde{x}}_n\Vert }^2$

找到最优的基向量，对 ${\beta }_{in},b_i$ 求偏导数，令其偏导数为 0，即可求得。

除了令偏导数为 0 进行参数优化，还可以用 chain rule 进行优化：
∂ J ∂ { β i n , b i } = ∂ J ∂ x ~ n × ∂ x ~ n ∂ { β i n , b i } ⇒ ∂ J ∂ x ~ n = − 2 N ( x n − x ~ n ) T ⇒ ∂ x ~ n ∂ β i n = b i , i = 1 , . . . , M \begin{aligned} \frac{\partial J}{\partial\left \{ \beta_{in},b_i \right \}} &=\frac{\partial J}{\partial \widetilde{x}_n}\times \frac{\partial \widetilde{x}_n}{\partial\left \{ \beta_{in},b_i \right \}}\\ \Rightarrow \frac{\partial J}{\partial \widetilde{x}_n} &=-\frac{2}{N}(x_n-\widetilde{x}_n)^T\\ \Rightarrow \frac{\partial \widetilde{x}_n}{\partial\beta_{in}} &=b_i,i=1,...,M \end{aligned} ∂{βin​,bi​}∂J​⇒∂x n​∂J​⇒∂βin​∂x n​​​=∂x n​∂J​×∂{βin​,bi​}∂x n​​=−N2​(xn​−x n​)T=bi​,i=1,...,M​
$$\begin{array}{rl}\frac{\partial J}{\partial {\beta }_{in}}=\frac{\partial J}{\partial {\tilde{x}}_n}\times \frac{\partial {\tilde{x}}_n}{\partial {\beta }_{in}}& =-\frac{2}{N}(x_n-{\tilde{x}}_n{)}^T{b}_i\\ & =-\frac{2}{N}(x_n-\sum _{i=1}^M{\beta }_{in}{b}_i{)}^T{b}_i\\ & =-\frac{2}{N}(x_n^T{b}_i-{\beta }_{in}{b}_i^T{b}_i),b_i^T{b}_i=1\\ & =-\frac{2}{N}(x_n^T{b}_i-{\beta }_{in})=0\\ & \Rightarrow {\beta }_{in}=x_n^T{b}_i\end{array}$$
下面重构损失函数，这样更加方便找到基向量。

$$\begin{array}{rl}{\tilde{x}}_n& =\sum _{i=1}^M{\beta }_{in}{b}_i\\ & =\sum _{i=1}^M(x_n^T{b}_i)b_i\\ & =\sum _{i=1}^M(x_n^T{b}_i)b_i\\ & =(\sum _{i=1}^M{b}_i{b}_i^T)x_n\end{array}$$

${\sum }_{i=1}^M{b}_i{b}_i^T$是投影矩阵。

$$\begin{array}{rl}{x}_n& =\sum _{i=1}^M{\beta }_{in}{b}_i+\sum _{i=M+1}^D{\beta }_{in}{b}_i\\ & =(\sum _{i=1}^M{b}_i{b}_i^T)x_n+(\sum _{i=M+1}^D{b}_i{b}_i^T)x_n\end{array}$$

${\tilde{x}}_n$与 $x_n$ 相比少了第二项，所以${\tilde{x}}_n$ 是 $x_n$ 的近似值（approximation）。

原始向量减去投影向量，即：

$$\begin{array}{rl}{x}_n-{\tilde{x}}_n& =(\sum _{i=M+1}^D{b}_i{b}_i^T)x_n\\ & =\sum _{i=M+1}^D(b_i^T{x}_n)b_i\end{array}$$

从上式可以看出两向量之差位于我们忽视的子空间里，即不包含主要子空间，该子空间是主要子空间的正交互补空间。

由上，损失函数可以重新定义为：

$$\begin{array}{rl}J& =\frac{1}{N}\sum _{n=1}^N{\Vert x_n,{\tilde{x}}_n\Vert }^2\\ & =\frac{1}{N}\sum _{n=1}^N{\Vert \sum _{i=M+1}^D(b_i^T{x}_n)b_i\Vert }^2\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{i=M+1}^D(b_i^T{x}_n{)}^2\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{i=M+1}^D{b}_i^T{x}_n{x}_n^T{b}_i\\ & =\frac{1}{N}\sum _{n=1}^N\sum _{i=M+1}^D{b}_i^T{x}_n{x}_n^T{b}_i\\ & =\sum _{i=M+1}^D{b}_i^T(\frac{1}{N}\sum _{n=1}^N{x}_n{x}_n^T)b_i,S=\frac{1}{N}\sum _{n=1}^N{x}_n{x}_n^T,S是协方差矩阵\\ & =\sum _{i=M+1}^D{b}_i^{T}S{b}_i\\ & =trace((\sum _{i=M+1}^D{b}_i{b}_i^T)S)\end{array}$$

${\sum }_{i=M+1}^D{b}_i{b}_i^T$ 是投影矩阵（projection matrix），这个投影矩阵将数据协方差投影到主要子空间（principle subspace）的互补空间中，意味着重构的损失函数是将数据的方差投影到我们忽视的子空间去，因此最小化损失函数等价于最小化数据在忽视的空间的方差。

若 $b_1$ 是 principle subspace， $b_2$是 orthogonal complement（the space we ignore）,则：

$b_i^T{b}_j={\delta }_{ij};i=j,{\delta }_{ij}=1;i\ne j,{\delta }_{ij}=0$

最小化(S)：$J={\sum }_{i=M+1}^D{b}_i^{T}S{b}_i=b_2^{T}S{b}_2$

约束：$b_2^T{b}_2=1$

根据拉格朗日乘子得：

$$\begin{array}{rl}L& =b_2^{T}S{b}_2+\lambda (1-b_2^T{b}_2)\\ \Rightarrow \frac{\partial L}{\partial \lambda }& =1-b_2^T{b}_2=0\iff b_2^T{b}_2=1\\ \Rightarrow \frac{\partial L}{\partial b_2}& =2b_2^{T}S-2\lambda b_2^T=0\iff S{b}_2=\lambda b_2\end{array}$$

因此：$J=b_2^{T}S{b}_2=b_2^T{b}_2\lambda =\lambda$ ($\lambda$ 是数据的协方差矩阵的特征值)。

当 $\lambda$ 是最小特征值时，平方损失函数是最小的，意味着$b_2$ 是我们忽视的空间的对应的特征向量， $b_1$是主要子空间是数据协方差矩阵的最大特征值的特征向量。 $b_1,b_2$ 之间是正交的，因为协方差矩阵是对称的。

损失函数的一般形式：

$$\begin{array}{rl}S{b}_i& ={\lambda }_i{b}_i,i=M+1,..,D\\ J& =\sum _{i=M+1}^D{\lambda }_i\end{array}$$

当取的基向量（base vector）是被忽视子空间的数据协方差的最小特征值的特征向量时，损失函数是最小化； 这相当于主要子空间是由数据协方差矩阵的M个最大特征值的特征向量组成。大的特征值对应大的方差，方差方向由特征向量给出。

主要子空间是标准正交的（orthonormal ），协方差矩阵的特征向量与大的特征值之间是相关的。

3.2 PCA 运用注意点

PCA算法中需要计算数据的协方差矩阵（数据的协方差矩阵是不稳定，因此需要中心化（中心化不等于归一化））以及对数据进行中心化处理（均值为0（新的数据值=数据值-均值））。中心化并不影响数据之间的相关性。

D维空间的协方差矩阵是$D\times D$ 的矩阵，若D是高维的，则计算协方差矩阵的特征值和特征向量是昂贵的，因此可以对协方差矩阵进行处理。

假设数据点是少于纬度的，即数据点为$x_1,...,x_N\in {\mathbb{R}}^D$，$X=\left[\begin{array}{c}{x}_1^T\\ ...\\ x_N^T\end{array}\right]\in {\mathbb{R}}^{N\times D}$，其中 $N<D$。

$S=\frac{1}{N}{X}^{T}X$，S 的秩为N，即 $rank(S)=N$，所以有D-N+1个值为0特征值，即矩阵不是满秩（矩阵的行列之间是线性相关的（linearly dependent）即矩阵中有一些重复（redundancies））。

接下来让 $D\times D$ 的协方差矩阵变成满秩的，即矩阵中不存在为 0 的特征值。

$$\begin{array}{rl}S{b}_i& ={\lambda }_i{b}_i,i=M+1,..,D\\ \frac{1}{N}{X}^{T}X{b}_i& ={\lambda }_i{b}_i\\ \frac{1}{N}X{X}^{T}X{b}_i& ={\lambda }_{i}X{b}_i(两边同乘一个X）\\ \frac{1}{N}X{X}^T{c}_i& ={\lambda }_i{c}_i(X{b}_i=c_i,\frac{1}{N}X{X}^T\in {\mathbb{R}}^{N\times N})\\ \frac{1}{N}{X}^{T}X{X}^T{c}_i& ={\lambda }_i{X}^T{c}_i(两边同乘一个X^T）\\ S{X}^T{c}_i& ={\lambda }_i{X}^T{c}_i\end{array}$$

$S=\frac{1}{N}{X}^{T}N\in {\mathbb{R}}^{N\times N}$，计算 的协方差矩阵要比计算 $D\times D$ 的代价小。

3.3 PCA 的其它解释

如上图所示，高维向量 X 通过基向量 ($B^T$) 投影到低维空间 Z（$=B^{T}X$）。 B矩阵的列是数据协方差矩阵的特征向量，这些特征向量对应着大的特征值，Z 值是数据点相对于基向量的坐标，这些坐标对应着主要子空间，Z 也叫数据点的 code。低维的也可以转向高维，通过 $BZ$ 即可将 Z转换到原来的数据空间。

通过构建平方差函数来找到PCA的最优参数，可将PCA看做是线性自动编码（linear auto encoder）。自动编码（autoencoder）对数据点X进行编码（encode）然后试图将其解码（decode）成一个类似X的数据点。将数据点映射到code叫做 encoder。将 code 映射到原始数据空间叫做 decoder。

若 encoder 和 decoder是线性映射，则PCA参数优化方法是用平方差损失函数；若将线性映射（linear mapping）换成非线性映射 (non-linear mapping)，则得到 non-linear autoencoder，如在深度自动编码器中，用深度网络代替编码器和解码器。自动编码 器的损失函数叫做 encoding loss。

PCA的另一个解释与信息论有关。可以将code看做是原数据点被压缩的版本，当用code重构原数据点时，不会得到与原始数据点完全一样的数据点，会得到一个稍微失真或有噪声的版本，意味着压缩直观上是有损的。压缩是通过最大化原始数据点与低维的code之间的相关性，这跟 mutual information 相关。类似PCA损失函数的最优化，这里是最大化 mutual information。mutual information是信息论里一个重要的概念。在重构损失函数中，PCA是最小化数据在正交互补空间的方差，等价于最大化数据在主要子空间的方差。在信息论中最大化 mutual information 就是最大化方差，可以解释为尽可能的保留信息。

从隐藏变量模型（latent vatiable model）的角度看，Z是一个未知的低维空间，这个未知空间与X存在线性关系，因此X可以写成 $X=BZ+\mu +ϵ$：，假设噪声 $ϵ$ 是各向同性的（isotropic），则 $ϵ\sim N(0,{\sigma }^2\mathrm{I})$ 。进一步假设Z的分布式标准正态分布，即$p(Z)=N(0,\mathrm{I})$。由上可以写出模型的似然函数：

$$\begin{array}{rl}p(X|Z)& =N(X|BZ+\mu ,{\sigma }^2\mathrm{I})\\ p(X)& =\int p(X|Z)p(Z)dZ\\ & =N(X|\mu ,B{B}^T+{\sigma }^2\mathrm{I})\end{array}$$

模型的参数有 $B,\mu ,ϵ$，可以用最大似然估计求参数，发现 $\mu$ 是数据点的均值， B是包含与最大特征值相关的特征向量的矩阵。

$$p(Z|X)=\frac{p(X|Z)p(Z)}{p(X)}$$

为得到数据在低维空间的code，可以用贝叶斯理论，将Z和X之间的线性关系进行转换。

相关资料推荐：

1、夹角计算的推导

2、协方差和相关性描述

3、矩阵秩的定义和求解

参考：
intrigano（Mathematics for Machine Learning - PCA ）