吴恩达机器学习python作业之PCA

参考链接：吴恩达|机器学习作业7.1.主成分分析(PCA)_学吧学吧终成学霸的博客-CSDN博客
任务一：实现PCA并可视化该过程

任务二：使用PCA进行图片压缩

任务一：实现PCA并可视化该过程

均值归一化(mean normalization)/特征缩放(feature scaling)

import numpy as np

a = np.array([1,2,3,4,5,6]).reshape((2,3))

mean_a = a.mean(axis=0)
std_a = a.std(axis=0,ddof = 1 ) #无偏的标准差，自由度为n-1
print(mean_a)
# [2.5 3.5 4.5]
print(std_a)
#[2.12132034 2.12132034 2.12132034]
print(a-mean_a)
"""[[-1.5 -1.5 -1.5]
 [ 1.5  1.5  1.5]]"""

result = (a-mean_a)/std_a
print(result)
"""[[-0.70710678 -0.70710678 -0.70710678]
 [ 0.70710678  0.70710678  0.70710678]]"""

奇异值分解

Python机器学习笔记：奇异值分解（SVD）算法 - 走看看 (zoukankan.com)

U,S,V = np.linalg.svd(sigma)
这里的U的大小是(n,n),U的每一列表示一个主成分（特征向量）
S的大小是(n,)，S只有对角线上的元素不为0，表示的是特征值

import numpy as np
from matplotlib import pyplot as plt
from scipy import io

#1.读取数据
dt = io.loadmat("E:\机器学习\吴恩达\data_sets\ex7data1.mat")
x = dt["X"] #(50, 2)

#2.数据集可视化
# plt.scatter(x[:,0],x[:,1])
# plt.show()

#3.实现PCA
#均值归一化
def featureNormalize(x):
    x_mean = x.mean(axis = 0)
    result = (x - x_mean)/x.std(axis=0,ddof =1)
    return result,x_mean

#PCA降维到k维度
def projectData(x,k):
    #第一步：进行均值归一化
    x_normalization,x_mean = featureNormalize(x)
    #第二步：计算协方差矩阵sigma
    m = len(x)
    sigma = 1/m * (x_normalization.T @ x_normalization) #(2,2)

    #第三步：SVD计算出U,S,V
    U,S,V = np.linalg.svd(sigma) #U(2, 2) S(2,) V(2,2)

    #第四步：进行降维
    Ureduce = U[:,:k] #(2, 1) (n,k)
    z = x_normalization @ Ureduce #(50, 1)
    return z,U,S,x_normalization,x_mean


K = 1
z_vec,U,Sreduce,x_norm,x_mean = projectData(x,K)
print(z_vec[0]) #[1.48127391]


plt.scatter(x[:,0],x[:,1])
#画出特征向量
#[x_mean[0], x_mean[0]+1.5*Sreduce[0]*Ureduce[0,0]]表示x轴上的列表
#[x_mean[1], x_mean[1]+1.5*Sreduce[0]*Ureduce[1,0]]表示y轴上的向量
#这样可以画出一个向量，向量的起始位置为（x_mean[0]，x_mean[1]），最终位置为（x_mean[0]+1.5*Sreduce[0]*Ureduce[0,0]，x_mean[1]+1.5*Sreduce[0]*Ureduce[1,0]）
plt.plot([x_mean[0], x_mean[0]+Sreduce[0]*U[0,0]], [x_mean[1], x_mean[1]+Sreduce[0]*U[1,0]], 'k')
plt.plot([x_mean[0], x_mean[0]+Sreduce[1]*U