PCA图像压缩入门——学习笔记

1.从协方差矩阵开始——协防差矩阵和样本阵的关系

定义1： 协方差
Cov ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = E ( X Y ) − 2 E ( X ) E ( Y ) + E ( X ) E ( Y ) = E ( X Y ) − E ( X ) E ( Y ) (X,Y) =E\{[X-E(X)][Y-E(Y)]\} \\ =E(XY)-2E(X)E(Y)+E(X)E(Y)\\ =E(XY)-E(X)E(Y) (X,Y)=E{[X−E(X)][Y−E(Y)]}=E(XY)−2E(X)E(Y)+E(X)E(Y)=E(XY)−E(X)E(Y)

意义： 度量各个维度偏离其均值的程度。协方差的值如果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，结果为负值就说明负相关的，如果为0，也是就是统计上说的“相互独立”。
引自：https://blog.csdn.net/GoodShot/article/details/79940438。可以参考其中配图。

注1： Cov$(X,X)=E(X^2)-(E(X){)}^2=D(X)$ 样本X自身协方差为其方差。

定义2： 样本方差
${\sigma }^2=\frac{{\sum }_{i=1}^m(X_i-\bar{X}{)}^2}{m-1}$, 其中$\bar{X}=\frac{{\sum }_{i=1}^m{X}_i}{m}$, 为 { X i } \{X_i\} {Xi​}的均值。

定义3： 样本协方差
Cov$(X,Y)=\frac{{\sum }_{i=1}^m(X_i-\bar{X})(Y_i-\bar{Y})}{m-1}$

显然有Cov$(X,Y)$ = Cov$(Y,X)$。
那么，对于只有两个特征$X$和$Y$的情况(即$X$、$Y$两个维度)，可以有协方差矩阵
${\mathbf{C}}_{X,Y}=\left(\begin{array}{cc}\mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{X},\mathrm{X})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{X},\mathrm{Y})\\ \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Y},\mathrm{X})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Y},\mathrm{Y})\end{array}\right)$。

对于有三个特征$X$、$Y$和$Z$的情况(即$X$、$Y$和$Z$三个维度)，有协方差矩阵
${\mathbf{C}}_{X,Y,Z}=\left(\begin{array}{ccc}\mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{X},\mathrm{X})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{X},\mathrm{Y})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{X},\mathrm{Z})\\ \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Y},\mathrm{X})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Y},\mathrm{Y})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Y},\mathrm{Z})\\ \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Z},\mathrm{X})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Z},\mathrm{Y})& \mathrm{C}\mathrm{o}\mathrm{v}(\mathrm{Z},\mathrm{Z})\end{array}\right)$。

注2： 可见，协方差矩阵$\mathbf{C}$是一个实对称矩阵。关于实对称矩阵的主要性质如下：
1.实对称矩阵A的不同特征值对应的特征向量是正交的。
2.实对称矩阵A的特征值都是实数，特征向量都是实向量。
3.n阶实对称矩阵A必可对角化，且相似对角阵上的元素即为矩阵本身特征值。
4.若λ0具有k重特征值　必有k个线性无关的特征向量，或者说必有秩r(λ0E-A)=n-k，其中E为单位矩阵。

故，协方差矩阵$\mathbf{C}$可以正交分解为对角阵。

定理 1： 有实对称矩阵$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，则一定存在正交阵$\mathbf{U}$，使${\mathbf{U}}^{\mathrm{T}}\mathbf{A}\mathbf{U}={\mathbf{U}}^{-1}\mathbf{A}\mathbf{U}=\Lambda =$diag$({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$

电脑莫名其妙重启了。。。继续撸。。。
以下以$X=(x_1,x_2,\dots ,x_m)，m\in \mathbb{N}$为例，进行说明。其中，$x_i$是$X$的第$i$个特征。

注3： 在我们处理数据$X$以前，我们要做的是数据中心化，这是后续工作的前提。
设$X$为有$n$个特征，$m$个样本的数据
$X=\left(\begin{array}{cccc}{x}_{1,1}-{\mu }_1& x_{1,2}-{\mu }_2& \dots & x_{1,n}-{\mu }_n\\ x_{2,1}-{\mu }_1& x_{2,2}-{\mu }_2& \dots & x_{2,n}-{\mu }_n\\ \dots & \dots & \dots & \dots \\ x_{m,1}-{\mu }_1& x_{m,2}-{\mu }_2& \dots & x_{m,n}-{\mu }_n\end{array}\right)$，其中${\mu }_i$为第$i$个特征的均值。

此时$x_{\bullet ,j}$为0均值样本，${\mu }_j=0$。

对于$X$中的任意两个特征$x_i$和$x_j$，记
$c_{i,j}=$Cov ( x i , x j ) = E { [ x i − μ i ] [ x j − μ j ] } = E { x i x j } = 1 m ∑ l = 1 m x ∙ , i x ∙ , j = 1 m X ∙ , i T X ∙ , j (x_i,x_j) \\ =E\{[x_i-\mu_i][x_j-\mu_j]\}=E\{x_ix_j\}\\ =\frac{1}{m}\sum^{m}_{l=1}x_{\bullet,i}x_{\bullet,j}\\ =\frac{1}{m}X^{\rm{T}}_{\bullet,i}X_{\bullet,j} (xi​,xj​)=E{[xi​−μi​][xj​−μj​]}=E{xi​xj​}=m1​∑l=1m​x∙,i​x∙,j​=m1​X∙,iT​X∙,j​
其中，$X_{\bullet ,i}$是样本$X_{m\times n}$中的第$i$列。

所以，样本$X$的协方差矩阵
${\mathrm{C}}_{\mathrm{X}}$ = { c i , j } = 1 m X T X =\{c_{i,j}\}=\frac{1}{m}X^{\rm{T}}X ={ci,j​}=m1​XTX （注：如果是无偏估计，则为$\frac{1}{m-1}$）。

扣题：上式就是协方差阵和样本阵的关系。

2.求映射阵${\mathbf{Q}}_{n\times k}$使由$n$维降维至$k$维

设目标为降维的矩阵为$\mathbf{Y}$，映射阵为$\mathbf{Q}$，有关系
${\mathbf{Y}}_{m\times n}={\mathbf{X}}_{m\times n}{\mathbf{Q}}_{n\times n}$

降维的话，${\mathbf{Y}}_{m\times k}={\mathbf{X}}_{m\times n}{\mathbf{Q}}_{n\times k}$

降维的原则： 新的到的$\mathbf{Y}$的方差尽可能大，协方差尽可能小。

根据上一节最后一个公式，设${\mathrm{C}}_{\mathrm{Y}}$为样本$Y$的协方差矩阵，有

${\mathrm{C}}_{\mathrm{Y}}$$$\begin{gathered} =\frac{1}{m}{\mathbf{Y}}^{\mathrm{T}}\mathbf{Y} \\ =\frac{1}{m}(\mathbf{X}\mathbf{Q}{)}^{\mathrm{T}}\mathbf{X}\mathbf{Q} \\ =\frac{1}{m}{\mathbf{Q}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{Q} \\ ={\mathbf{Q}}^{\mathrm{T}}{\mathrm{C}}_{\mathrm{X}}\mathbf{Q} \end{gathered}$$

考虑到定理1中是对称矩阵可以正交分解，故令$\mathbf{Q}=\mathbf{U}$，有

${\mathrm{C}}_{\mathrm{Y}}$$$\begin{gathered} ={\mathbf{Q}}^{\mathrm{T}}{\mathrm{C}}_{\mathrm{X}}\mathbf{Q}={\mathbf{U}}^{\mathrm{T}}{\mathrm{C}}_{\mathrm{X}}\mathbf{U} \\ =\mathrm{\Lambda }= \end{gathered}$$diag$({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$

在此，我们不妨假设${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$，对应的特征向量为$u_1,u_2,\dots ,u_n$。即，${\lambda }_i$已经排列好大小。则取前$k$个特征向量，组成${\mathbf{Q}}_{n\times k}=(u_1,u_2,\dots ,u_k)$，其中$0<k<n$。

扣题：${\mathbf{Y}}_{m\times k}={\mathbf{X}}_{m\times n}{\mathbf{Q}}_{n\times k}$实现了数据的降维。

3.数据的复原（重构）

${{\mathbf{X}}^{\prime }}_{m\times n}={\mathbf{Y}}_{m\times k}({\mathbf{Q}}_{n\times k}{)}^{\mathrm{T}}$ 即是数据的重构！
注意： 由$Y=XQ$得出$X=Y{Q}^T$的结论是错误的。应为$X^{\prime }=Y{Q}^T$，$X$为中心化之后的原始数据，$X‘$才是重构后的复原数据。

以下图为例，进行说明。图片引自https://blog.csdn.net/hustqb/article/details/78394058

X中心化后得到$X=((-1,-2),(-1.0),(0,0),(0,1),(2,1){)}_{5\times 2}$ 5个样本，红色星号。降维后得到$Y=(y1,y2,y3,y4,y5{)}_{5\times 1}^T$ 5个数，是1维数据，不是点。蓝色斜线为$u_1=(u_{1,1},u_{1,2}{)}^T$为$C_X$最大特征值${\lambda }_1$对应的特征向量。$Q=(u_1{)}_{2\times 1}$。
此时的Y，已经损失了部分信息——损失了绿色的截线长度的信息，$Y{Q}^T$也不能重新获得这些信息。$Y{Q}^T$仅仅是将Y={y1,y2,y3,y4,y5}这5个数映射在方向$u_1=(u_{1,1},u_{1,2}{)}^T$上，形成排列在一条线上的5个点——$X^{\prime }$，而不是原先成散布状的原始数据$X$。