主成分分析:原理及实践

最新推荐文章于 2024-03-15 17:05:47 发布

愚者吃鱼

最新推荐文章于 2024-03-15 17:05:47 发布

阅读量423

点赞数

分类专栏：算法文章标签：线性代数矩阵算法 pca降维

本文链接：https://blog.csdn.net/ReDreamme/article/details/108500462

版权

算法专栏收录该内容

15 篇文章 2 订阅

订阅专栏

主成分分析（PCA）原理

主成分分析（Principal Component Analysis，PCA），是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

主成分分析是一种降维方法
主成分分析可以用作数据的有损压缩

PCA干了什么，它为什么能降维？

前面说过，向量可以由它在各个基上的投影表示，在不同的基上，向量有不同的表示方法。而主成分分析可以说是为向量寻找一组新的基，新的基的数量一般小于待降维向量的维度，通过将现有向量投影到新的基上（进行基变换），就达到了降维的目的。但是这样还不行，我们要求向量在新的基上需要尽可能的保留原始的信息。

如何使降维后的向量尽可能地保留原来的信息呢？

假设有m个n维向量，对这一组向量进行降维，我们可以选择 $r$ 个新基，计算出原始向量在新基上投影，并规定向量在新基上的投影尽可能地分散。（直观地看，如果一组向量在基上越分散，就越容易区分，保留的信息就越多。）如果用方差表示投影的分散程度，则有如下公式：
$Var(X)=E\{[a_{i}-\mu_i]^2\}$ 其中 $a_{i}$ 是降维后的样本矩阵第 i 维的值， $\mu$ 是样本矩阵第 i 维的均值。
我们希望向量在基上投影后的方差尽可能地大。

n维向量降成r维，第1个基可以是方差最大的基，那第2个到第r个基又如何选呢？

只考虑方差可能导致不同基上的投影很包含许多重复信息，为了避免降维后的向量包含太多重复信息，规定投影后向量各个维度之间之间的相关性尽要可能地小。用协方差表示相关性，有如下公式
$Cov(a_{i},a_{j}) = E\{[a_{i}-\mu_i][a_{j}-\mu_j]\}$
当协方差为0时，表示降维后的向量各个维度之间没有相关性，不包含重复信息。根据线性代数的知识我们可以知道，此时基之间应该是两两正交的。所以在选取第2个基时，应该选择与第一个基正交且方差尽可能大的方向。

综上所述，PCA要做的事如下：

寻找一组基，使向量在基上的投影方差最大
基与基之间需要正交，以确保降维后向量的不同维度之间的协方差为0

数学推导

假设原样本为a(m个n维向量)，首先我们需要找到一个基p，保证向量在基上的投影方差最大
$pa\\ V=\underset p{max}\frac1m\sum_m^i(b_i-\overline b)^2\\ =\underset p{max}\frac1m\sum_m^i(pa_i-p\overline a)^2$ 为方便计算，我们事先对A进行零均值化，则 $\overline a=0$ 从而
$V=\underset p{max}\frac1m\sum_m^i(pa_i)^2\\ =\underset p{max}\frac1m\sum_m^i(pa_i)(pa_i)^T\\ =\underset p{max}\frac1m\sum_m^i(pa_i{a_i}^Tp^T)\\ =\underset p{max}\frac1m\sum_m^i(pa_i{a_i}^Tp^T)\\ =\underset p{max}\frac1mpCov(a)p^T\\$ 接下来解上面的式子，为了使解唯一，我们添加等式条件 $p||_2=1$ ，则有下面带一个等式条件的最优化问题
$V=\underset p{max}\frac1mpCov(a)p^T\\ s.t.\;\;||p||_2=1$ 上面问题等价于
$V=\underset p{max}p^TCov(a)p\\ s.t.\;\;||p||_2=1$ 对于这类问题，通常用拉格朗日乘数法解决
$=\underset p{max}p^TCov(a)p + \lambda(||p||_2-1)$ 分别对 $p$ 、 $\lambda$ 求导，解方程组，解得
$\lambda p$ 这很明显是特征值特征向量的定义， $p$ 是协方差矩阵 $C o n v (a)$ 的一个特征向量，而 $\lambda$ 是对应的特征值。另外，有下列等式
$\underset p{max}p^TCov(a)p=\underset p{max}p^T\lambda p$ 所以，我们只要求得协方差矩阵最大特征值对应的特征向量就是求得了 $p$ 。

接下来，我们需要找第二个基，同样，我们需要保证方差最大且与之前的基正交。由上面的推导，我们发现要想使基上的投影方差最大 $p$ 就必须满足
$\lambda p=>\underset p{max}p^TCov(a)p=\underset p{max}p^T\lambda p$ 但由于最大的特征值对应的特征向量已经被选择作为第一个基，所以我们只能选择第二大的。
接下来考察另一个条件，新选择的基需要与之前的基正交。由于协方差矩阵是一个是对称矩阵，对于对称矩阵，不同特征值对应的特征向量必然正交，所以第二大特征值对应的特征向量就是我们要找的基。

类似的，如果降维后的向量有3维、4维，我们可以继续选择协方差矩阵第3、第4大的特征值对应的特征向量。

最后，将求完的基按行组成的矩阵P，则可以通过下面公式即可得到降维后的数据
$B = P A$

算法实战

算法流程

如果有m条n维数据

将数据整理成n行m列的矩阵A
将矩阵的每一行零均值化
计算原始数据的协方差矩阵
计算协方差矩阵的特征值和特征向量
选取最大的K个特征值所对应的特征向量组成构成矩阵P
通过 $B = P A$ 计算得到降维后的数据

算法核心代码

def PCA(data,k):
    A = data
    mean = np.mean(A,0)#计算均值
    means=  np.tile(mean,(A.shape[0],1))
    A = A - means #零均值化
    Cov = np.cov(A.T) #求协方差矩阵
    print(Cov.shape)
    featValue, featVec=  np.linalg.eig(Cov)#计算特征值特征向量   the column v[:,i] is the eigenvector corresponding to the eigenvalue w[i].
    index = np.argsort(-featValue)[:k]
    P = featVec.T[index]
    B = np.dot(P,A.T)
    C = np.dot(P.T,B).T + means
    return B,C

算法实战-图像压缩

实际的图像压缩要更复杂，这里仅仅简单地应用上面的算法

#读取图片到矩阵
def readImg(imgpath):
    img = Image.open(imgpath).convert("L")
    print('原始图片大小',img.size)
    imgmatrix = np.asarray(img) 
    img = Image.fromarray(imgmatrix)
    print('原始图片大小',imgmatrix.shape)
    plt.figure(figsize=(10,10))
    plt.imshow(img)
    plt.axis('off') # 关掉坐标轴为 off
    plt.title('Original Img') # 图像题目
    plt.show()
    return imgmatrix
    
#从矩阵还原图片
def ShowImg(imgmatrix):
    img = Image.fromarray(imgmatrix)
    print('解压缩图片大小',imgmatrix.shape)
    plt.figure(figsize=(10,10))
    plt.imshow(img)
    plt.axis('off') # 关掉坐标轴为 off
    plt.title('Decompression Img') # 图像题目
    plt.show()
    
#实验
imm = readImg('Image.JPG')
B,C=PCA(imm,120)#第二维压缩10倍
ShowImg(C)