机器学习——09 PCA

平行世界里的我

已于 2022-05-03 15:50:25 修改

阅读量1.4k

点赞数

分类专栏：机器学习文章标签：机器学习

于 2021-12-16 20:49:41 首次发布

本文链接：https://blog.csdn.net/weixin_45823221/article/details/121983731

版权

机器学习专栏收录该内容

35 篇文章 6 订阅

订阅专栏

1. 主成分分析——Principal Component Analysis

PCA一般是在训练之前对数据进行降维，为了减少训练的复杂度，但可能结果不好。

1. 主成分分析——Principal Component Analysis

1.1 降维算法用途

①数据压缩2D-1D

②数据压缩3D-2D

③数据可视化

降维分析：找到数据最重要的方向（方差最大的方向）

第一个主成分就是数据差异性最大（方差最大）的方向提取出来的，第二个主成分则来自于数据差异性次大的方向，并且要与第一个主成分方向正交。

1.2 PCA与线性回归差异

PCA不是线性回归。线性回归用最小二乘法求。PCA用垂直距离求

1.3 PCA算法流程

数据预处理：中心化X减 $\overline{X}$
求样本的协方差矩阵 $\frac{1}{m}XX^{T}$
对协方差 $\frac{1}{m}XX^{T}$ 矩阵做特征值分解
选出最大的K个特征值对应的K个特征向量
将原始数据投影到选取的特征向量上
输出投影后的数据集

方差——描述一个数据的离散程度

协方差——描述两个数据的相关性，接近1就是正相关，接近-1就是负相关，接近0就是不相关。

协方差矩阵只能处理二维问题，那维数多了自然需要计算多个协方差，我们可以使用矩阵来组织这些数据。

协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差

通过数据集的协方差矩阵及其特征分析，可以得到协方差矩阵的特征向量和特征值。需要保留k个维度的特征就选取最大的k个特征值。

2. PCA代码实现

2.1 PCA简单例子

import numpy as np
import matplotlib.pyplot as plt

# 载入数据
data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)
plt.show()
print(x_data.shape)

# 数据中心化
def zeroMean(dataMat):
    # 按列求平均，即各个特征的平均
    meanVal = np.mean(dataMat, axis=0)
    newData = dataMat - meanVal
    return newData, meanVal

newData,meanVal=zeroMean(data)
# np.cov用于求协方差矩阵，参数rowvar=0说明数据一行代表一个样本
covMat = np.cov(newData, rowvar=0)

# np.linalg.eig求矩阵的特征值和特征向量
eigVals, eigVects = np.linalg.eig(np.mat(covMat))

# 对特征值从小到大排序
eigValIndice = np.argsort(eigVals)

top = 1
# 最大的top个特征值的下标
n_eigValIndice = eigValIndice[-1:-(top+1):-1]

# 最大的n个特征值对应的特征向量
n_eigVect = eigVects[:,n_eigValIndice]

# 低维特征空间的数据
lowDDataMat = newData*n_eigVect

# 利用低纬度数据来重构数据
reconMat = (lowDDataMat*n_eigVect.T) + meanVal

# 载入数据
data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0]
y_data = data[:,1]
plt.scatter(x_data,y_data)


# 重构的数据
x_data = np.array(reconMat)[:,0]
y_data = np.array(reconMat)[:,1]
plt.scatter(x_data,y_data,c='r')
plt.show()

2.2 手写数字降维可视化

from sklearn.neural_network import MLPClassifier
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report,confusion_matrix
import numpy as np
import matplotlib.pyplot as plt

digits = load_digits()#载入数据
x_data = digits.data #数据
y_data = digits.target #标签

x_train,x_test,y_train,y_test = train_test_split(x_data,y_data) #分割数据1/4为测试数据，3/4为训练数据

mlp = MLPClassifier(hidden_layer_sizes=(100,50) ,max_iter=500)
mlp.fit(x_train,y_train)


# 数据中心化
def zeroMean(dataMat):
    # 按列求平均，即各个特征的平均
    meanVal = np.mean(dataMat, axis=0)
    newData = dataMat - meanVal
    return newData, meanVal

def pca(dataMat,top):
    # 数据中心化
    newData,meanVal=zeroMean(dataMat)
    # np.cov用于求协方差矩阵，参数rowvar=0说明数据一行代表一个样本
    covMat = np.cov(newData, rowvar=0)
    # np.linalg.eig求矩阵的特征值和特征向量
    eigVals, eigVects = np.linalg.eig(np.mat(covMat))
    # 对特征值从小到大排序
    eigValIndice = np.argsort(eigVals)
    # 最大的n个特征值的下标
    n_eigValIndice = eigValIndice[-1:-(top+1):-1]
    # 最大的n个特征值对应的特征向量
    n_eigVect = eigVects[:,n_eigValIndice]
    # 低维特征空间的数据
    lowDDataMat = newData*n_eigVect
    # 利用低纬度数据来重构数据
    reconMat = (lowDDataMat*n_eigVect.T) + meanVal
    # 返回低维特征空间的数据和重构的矩阵
    return lowDDataMat,reconMat

lowDDataMat,reconMat = pca(x_data,2)

# 重构的数据
x = np.array(lowDDataMat)[:,0]
y = np.array(lowDDataMat)[:,1]
plt.scatter(x,y,c='r')
plt.show()

predictions = mlp.predict(x_data)

# 重构的数据
x = np.array(lowDDataMat)[:,0]
y = np.array(lowDDataMat)[:,1]
plt.scatter(x,y,c=y_data)
plt.show()




lowDDataMat,reconMat = pca(x_data,3)
from mpl_toolkits.mplot3d import Axes3D  
x = np.array(lowDDataMat)[:,0]
y = np.array(lowDDataMat)[:,1]
z = np.array(lowDDataMat)[:,2]
ax = plt.figure().add_subplot(111, projection = '3d') 
ax.scatter(x, y, z, c = y_data, s = 10) #点为红色三角形 

plt.show()

2.3 sklearn手写数字降维预测

from sklearn.neural_network import MLPClassifier
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report,confusion_matrix
from sklearn import decomposition
import matplotlib.pyplot as plt

digits = load_digits()#载入数据
x_data = digits.data #数据
y_data = digits.target #标签

x_train,x_test,y_train,y_test = train_test_split(x_data,y_data) #分割数据1/4为测试数据，3/4为训练数据

mlp = MLPClassifier(hidden_layer_sizes=(100,50) ,max_iter=500)
mlp.fit(x_train,y_train )

predictions = mlp.predict(x_test)
print(classification_report(predictions, y_test))
print(confusion_matrix(predictions, y_test))







pca = decomposition.PCA()
pca.fit(x_data)

variance = []
for i in range(len(pca.explained_variance_ratio_)):
    variance.append(sum(pca.explained_variance_ratio_[:i+1]))

plt.plot(range(1,len(pca.explained_variance_ratio_)+1), variance)
plt.show()







pca = decomposition.PCA(whiten=True,n_components=0.8)
pca.fit(x_data)

x_train_pca = pca.transform(x_train)

mlp = MLPClassifier(hidden_layer_sizes=(100,50) ,max_iter=500)
mlp.fit(x_train_pca,y_train )

x_test_pca = pca.transform(x_test)
predictions = mlp.predict(x_test_pca)
print(classification_report(predictions, y_test))
print(confusion_matrix(predictions, y_test))