利用Python对数据进行PCA降维

最新推荐文章于 2024-07-18 17:29:55 发布

chaosjey li

最新推荐文章于 2024-07-18 17:29:55 发布

阅读量4.2k

点赞数 2

分类专栏： Python 机器学习

本文链接：https://blog.csdn.net/weixin_39040981/article/details/111147052

版权

本文介绍了使用Python进行PCA降维的方法，包括对Iris数据集和MNIST数据集的降维实例。PCA通过计算协方差矩阵、特征值和特征向量来降低数据的复杂性，帮助数据可视化。在Iris数据集中，PCA被用于将数据从5维降至2维，而在MNIST数据集中，讨论了如何选择合适的主成分数量以保持较高的累计贡献率。

摘要由CSDN通过智能技术生成

PCA算法原理各本书中都有，具体推导也不用放了，就简单说一下步骤：

对变量进行标准化操作；
计算协方差矩阵；
求协方差矩阵特征值与特征向量；
将特征值从大到小排序，选择做大的前k个特征值对应的特征向量；
将原始数据乘这k个特征向量，将其转化到对应的k维空间中。

例1：对Iris数据集进行pca降维。

iris莺尾花数据集导入后为(150, 5)的矩阵，共5类数据，每类150个样本。
分别为’Sepal.Length’, ‘Sepal.Width’, ‘Petal.Length’, ‘Petal.Width’, ‘species’

为了方便可视化，我们通过PCA降维到2维，即（150,2)的矩阵，并绘制散点图。
代码如下：

# 导入类库
import pandas as pd
from pandas.plotting import scatter_matrix
from matplotlib import pyplot
from sklearn.model_selection import train_test_split
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.metrics import classification_report
from sklearn.metrics import confusion_matrix
from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.svm import SVC
import numpy as np
import matplotlib.pyplot as plt

from sklearn.decomposition import PCA

names = ['Sepal.Length', 'Sepal.Width', 'Petal.Length', 'Petal.Width'