PCA（主成分分析）

机器学习的经典算法——PCA

# -*- codeing = utf-8 -*-
# @Time : 2021/11/6 16:48
# Author: 惠
# @File : PCA.py
# @Software : PyCharm

'''
PCA主成分分析——降维（最小的损失，最大的信息量）
1、中心化：让平均值做零点
2、计算C：为求特征值和特征向量准备
3、求解特征值和特征向量：利用拉格朗日求条件最值，在代码中直接调用函数
4、计算降维：最大的k个特征值对应的特征向量组成的降维矩阵，矩阵相乘得结果
'''


import numpy as np
import matplotlib.pyplot as plt

#pca需要两个参数，1、是数据，2、是希望降到多少维
def pca(data,dim):
    #获取数据的两个值N：样本数目，D：特征维度
    N,D= np.shape(data)

    #第一步：中心化
    data = data-np.mean(data,axis=0,keepdims=True)#求平均值函数，
        # axis=0表示输出矩阵是1行，也就是求每一列的平均值。axis=1表示输出矩阵是1列, 也就是求每一行的平均值
        # keepdims=True保持其二维或者三维的特性,(结果保持其原来维数),默认值为False

    # 第二步：进行C的计算
    c = np.dot(data.T, data)/(N-1)#dot为矩阵乘法，利用方差的无偏估计得到c的计算公式

    #第三步：计算特征值和特征向量
        # 使用numpy包中的函数分别计算特征值和特征向量
    values, vector=np.linalg.eig(c)
    #选取特征值最大的几个的对应特征向量1、对特征向量排序2、对应特征向量组成降维矩阵
        #argsort函数返回的是数组值从小到大的索引值,所以对值添加负号后从大到小进行切片获取，取前dim个
    index =np.argsort(-values)[:dim]
        # 选取相对应的特征向量组成特征矩阵
    picked_vector = vector[:, index]

    #第四步：对数据进行降维
    data_dim=np.dot(data, picked_vector)
    return data_dim,picked_vector




#测试
def draw_pic(datas, labs):
    plt.cla()
    unque_labs = np.unique(labs)
    colors = [plt.cm.Spectral(each)
              for each in np.linspace(0, 1, len(unque_labs))]
    p = []
    legends = []
    for i in range(len(unque_labs)):
        index = np.where(labs == unque_labs[i])
        pi = plt.scatter(datas[index, 0], datas[index, 1], c=[colors[i]])
        p.append(pi)
        legends.append(unque_labs[i])

    plt.legend(p, legends)
    plt.show()

if __name__ == "__main__":
    #加载数据，以字符型并以，进行分隔
    data = np.loadtxt("iris.data",dtype="str",delimiter=',')
    feas = data[:,:-1]
    feas = np.float32(feas)
    labs = data[:,-1]
    #进行降维，调用PCA函数
    data_2d, picked_vector=pca(feas,2)
    #进行效果展示，调用绘图函数
    draw_pic(data_2d,labs)