python-主成分分析-降维-PCA

PCA算法及其应用

  1. 主成分分析(PCA)
    1. 主城成分分析(PCA):常见的降维方法,用于高维数据集的探索与可视化,还可以用作数据压缩和预处理。
    2.  PCA 可以把具有相关性的高维变量合成为线性无关的低维变量,成为主成分,主成分能够保留原始数据的信息。
  2. 相关知识及术语
    1. 方差:是各个样本和样本均值的差的平方和的均值,用来度量一维数据的分散程度。                         s^2=\frac{\sum{^n_{i=1}(x_i-x)^2}}{n-1}
    2. 协方差:用于度量两个变量之间的线性相关性的程度,若两变量的协方差为0,则可认为二者线性无关。Cov(X,Y)=\frac{\sum{^n_{i=1}(X_i-\bar{X})(Y_i-\bar{Y})}}{n-1}
    3. 协方差矩阵:协方差矩阵则是由变量的协方差值构成的矩阵(对称阵)。
    4. 特征向量和特征值  :描述数据集的非零向量,满足公式:A\bar{v}=\lambda \bar{v},,A是方阵,\bar{v}是特征向量,\lambda是特征值。
  3. PCA原理:
    1. 矩阵的主成分就是其协方差矩阵对应的特征向量,按照对应的特征值得大小进行排序,最大的特征值就是第一主成分,其次是第二主成分,依次类推。
    2. sklearn库进行主成分分析,加载sklearn.decomposition.PCA降维,主要参数:
              n_components:指定主成分的个数,即降维后数据的维度。
              svd_solver:设置特征值分解方法,默认auto,可选full,arpack,randomized。
  4. 鸢尾花数据降维可视化实例
    
    #实例:鸢尾花数据降维可视化
    import matplotlib.pyplot as plt
    from sklearn.decomposition import PCA
    from sklearn.datasets import load_iris
    
    data=load_iris()
    
    y=data.target                   #数据集中的标签
    x=data.data                     #数据集中的属性数据
    
    pca=PCA(n_components=2)         #降维后主成分数目
    reduced_x=pca.fit_transform(x)  #降维
    
    red_x,red_y=[],[]
    blue_x,blue_y=[],[]
    green_x,green_y=[],[]           #用于存储类别数据
    
    for i in range(len(reduced_x)):
        if y[i]==0:
            red_x.append(reduced_x[i][0])
            red_y.append(reduced_x[i][1])
        elif y[i]==1:
            blue_x.append(reduced_x[i][0])
            blue_y.append(reduced_x[i][1])
        else:
            green_x.append(reduced_x[i][0])
            green_y.append(reduced_x[i][1])
    
    
    plt.scatter(red_x,red_y,c='r',marker='*')
    
    plt.scatter(blue_x,blue_y,c='b',marker='o')
    plt.scatter(green_x,green_y,c='g',marker='.')
    plt.show()

 

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秘境之眼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值