机器学习-PCA（主成分分析）（4.1）

一.主成分分析

是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

主成分分析是对于原先提出的所有变量，将重复的变量（关系紧密的变量）删去多余，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。

• 非监督的机器学习算法
• 主要用于数据降维
• 其他应用：可视化；去噪

主成分分析流程：

目标：

 

求梯度

二.jupter中使用梯度上升法实现PCA

1.创造数据

2.demean

3.梯度上升法

• 注意1：每次求一个单位方向
•  注意2：w不能用0向量开始，随机一个
•  注意3： 不能使用StandardScaler标准化数据。因为要计算方差最大，如果归一化，方差就不存在了

三.求数据前n主成分

1.推导思路

求出第一主成分后，数据改变，将数据在第一个主成分上的分量去掉。

在新的数据上求第一主成分。

样本中去掉原来的第一主成分之后（得到的是和这个方向垂直的方向对应的分量），剩下的再计算

2.在jupter中实现获得前n个主成分

import numpy as np
import matplotlib.pyplot as plt

#构造数据
X = np.empty((100, 2))
X[:,0] = np.random.uniform(0., 100., size=100)
X[:,1] = 0.75 * X[:,0] + 3. + np.random.normal(0, 10., size=100)

#均值化
def demean(X):
    return X - np.mean(X, axis=0)

def f(w, X):
    return np.sum((X.dot(w)**2)) / len(X)

def df(w, X):
    return X.T.dot(X.dot(w)) * 2. / len(X)

def direction(w):
    return w / np.linalg.norm(w)

#求第一主成分
def first_component(X, initial_w, eta, n_iters = 1e4, epsilon=1e-8):
    
    w = direction(initial_w) 
    cur_iter = 0

    while cur_iter < n_iters:
        gradient = df(w, X)
        last_w = w
        w = w + eta * gradient
        w = direction(w) 
        if(abs(f(w, X) - f(last_w, X)) < epsilon):
            break
            
        cur_iter += 1

    return w

#给n,x算出前n个主成分是谁
def first_n_components(n, X, eta=0.01, n_iters = 1e4, epsilon=1e-8):
    X_pca = X.copy()
    X_pca = demean(X_pca)
    res = []
    for i in range(n):
        initial_w = np.random.random(X_pca.shape[1])#初始搜索点
        w = first_component(X_pca, initial_w, eta)
        res.append(w)
        
        X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w
        
    return res

#之间调用
first_n_components(2, X)