PCA降维 python实现

最新推荐文章于 2024-08-23 17:24:51 发布

海淼林

最新推荐文章于 2024-08-23 17:24:51 发布

阅读量4.2k

点赞数

分类专栏： PCA 机器学习 Python

本文链接：https://blog.csdn.net/u013648367/article/details/53135665

版权

主成分分析,Principal Component Analysis

计算协方差矩阵,由于是hermitian的,所以100%可正交对角化而且特征值一定非负

求出特征值特征向量以后,取特征值比较大的那几个方向构成线性空间,把数据投影上去就OK了

补详细公式推导:

http://blog.csdn.net/u013648367/article/details/73824049

import os
import numpy as np
import matplotlib.pylab as plt

def dataLoader(file):
    return np.array([ i.split() for i in open(file)],dtype="float")
 

def pca(dataSet,rank=0):
    means = np.mean(dataSet,axis=0)
    dataSet = dataSet - means #去中心化 ,使得E(X),E(Y),... =0, 方便求方差
    #plt.scatter(*dataSet.T)
    lenth = dataSet.shape[0]
    if rank == 0:
        rank = dataSet.shape[1]+1
    dataSet = np.matrix(dataSet)
    covMat = dataSet.T*dataSet/(lenth-1)
    eigenVals, eigenVec = np.linalg.eigh(covMat)
    pick_id = eigenVals.argsort()[::-1][:rank] #从小到大排序,返回数组序号,然后倒着取,取前r个
    eigenVec_picked = eigenVec[:,pick_id]#取出排序后的特征向量
    #print(