12.1 主成分分析原理（PCA)

YANQ662

已于 2024-01-31 10:50:24 修改

阅读量614

点赞数 8

分类专栏： 7.数据处理文章标签：人工智能算法

于 2024-01-26 17:24:50 首次发布

本文链接：https://blog.csdn.net/weixin_71719718/article/details/135870816

版权

7.数据处理专栏收录该内容

12 篇文章 0 订阅

订阅专栏

主成分分析步骤如下：

设有 $n$ 条 $m$ 维数据

1. 将原始数据按列组成 $n$ 行 $m$ 列矩阵 $X$ ；

2. 将矩阵 $X$ 的每一行进行零均值化；

3. 求出协方差矩阵 $C=\frac{1}{m}XX^{^{T}}$ ；

4. 求出协方差矩阵的特征值及对应的特征向量；

5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 $k$ 行组成矩阵 $P$ ；

6. $Y=PX$ 即为降维到 $k$ 维后的数据。

如果对线性代数的实对成矩阵的相似对角化熟悉的人可以很好的了解上面的步骤，根据线性代数的求解步骤如下（也可以是代码步骤，python的np有求解方法）：

1. 将原始数据按列组成 $n$ 行 $m$ 列矩阵 $X$ ；

2. 将矩阵 $X$ 的每一行进行零均值化；

这里的每一行零均值化就是每一行的元素减去该行的均值，均值可以用np.mean()求解。

3.求出协方差矩阵 $C=\frac{1}{m}XX^{^{T}}$ ；这个矩阵实际上就是实对称矩阵。

4.求出协方差矩阵的特征值及对应的特征向量；

这里其实就是对实对称矩阵相似对角化，在相似对角化的过程中会得到特征值和对应的特征向量，得到的对角矩阵的对角线上的元素就是特征值，对角线以外的元素都为0。（当然，要对这组特征向量进行正交化，因为我们最终要的是正交向量，如果在这里不求，也可以在最后一步求 $k$ 个向量的正交向量，计算量肯定比现在求小，因为现在要求 $n$ 个向量，而最后只需要求 $k$ 个）。

5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 $k$ 行组成矩阵 $P$ ；

6.这里就是对特征值做从大到小的排序，可以用np.sorted()函数排序。

7.然后根据排序取前 $k$ 行的向量组成一个新的矩阵。

主成分分析实现的python代码如下：

// 用python实现主成分分析（PCA）
import numpy as np
from numpy.linalg import eig
from sklearn.datasets import load_iris
def pca(X,k):
    X = X - X.mean(axis = 0) #向量X去中心化
    X_cov = np.cov(X.T, ddof = 0) #计算向量X的协方差矩阵，自由度可以选择0或1
    eigenvalues,eigenvectors = eig(X_cov) #计算协方差矩阵的特征值和特征向量
    klarge_index = eigenvalues.argsort()[-k:][::-1] #选取最大的K个特征值及其特征向量
    k_eigenvectors = eigenvectors[klarge_index] #用X与特征向量相乘
    return np.dot(X, k_eigenvectors.T)
iris = load_iris()
X = iris.data
k = 2
X_pca = pca(X, k)
print(X_pca)