风火编程--机器学习之主成分分析(PCA)

主成分分析PCA

第一主成分

# coding: utf-8

import numpy as np
import matplotlib.pyplot as plt

X = np.empty((100, 2))
X[:, 0] = np.random.uniform(0., 100., size=100)
X[:, 1] = 0.75*X[:, 0] + 3. + np.random.normal(0., 10., size=100)

def demean(X):
    """
    归零化处理, 不能用归一化和标准化
    :param X: 样本特征
    :return: 归零化后的特征
    """
    return X - np.mean(X, axis=0)

X_demean = demean(X)


def F(w, X_demean):
    """
    梯度上升法的效用函数
    :param w:
    :param X_demean:归零化后的样本特征
    :return:效用函数的值
    """
    return np.sum(X.dot(w)**2)/len(X)


def dF(w, F):
    """
    梯度函数
    :param w:第一主成分方向向量
    :param F:效用函数
    :return:梯度值
    """
    return X.T.dot(X.dot(w))*2./len(X)

def grident_ascent(X, initial_w, eta=0.001, n_iters=10000, epsilon=1):
    """
    梯度上升法求解
    :param X: 归零化的样本特征
    :param initial_w: 初始向量
    :param eta: 学习率
    :param n_iters:
    :param epsilon:
    :return:第一主成分单位向量
    """
    direction = lambda w: w/np.linalg.norm(w)
    X_demean = demean(X)
    w = direction(initial_w)
    current_iter = 0
    while current_iter < n_iters:
        grident = dF(w, X)
        last_w = w
        w = w + eta * grident
        # 每次循环均应把向量转换成单位向量
        w = direction(w)
        if abs(F(w,X_demean) - F(last_w, X_demean)) < epsilon:
            break
        current_iter += 1
    return w


if __name__ == '__main__':
    # 向量的初始值不能为0
    initial_w = np.random.random(X.shape[1])
    w = grident_ascent(X, initial_w)
    print(w)
    plt.scatter(X_demean[:, 0], X_demean[:, 1])
    plt.plot([0, w[0]*30], [0, w[1]*30], color="r")
    plt.show()

前n主成分

 def first_n_components(n, X, eta=0.001, n_iters=10000, epsilon=1):
    """
    前n个主成分
    :param n:需要的主成分个数
    :param X:样本特征
    :param eta:学习率
    :param n_iters:最大迭代次数
    :param epsilon:及机器精度
    :return: 前n个主成分的列表
    """
    X_pca = X.copy()
    res = []
    for i in range(n):
        initial_w = np.random.random(X_pca.shape[1])
        w = first_component(X_pca, initial_w, eta, n_iters, epsilon)
        res.append(w)
        X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w
    return res

PCA降维描述
非监督学习
求得一个方向向量向量使得效用函数(方差)取极大值.
降维前对样本归零化处理(denean), 即所有项减去均值.
用于降维, 降噪, 可视化, 特征脸
PCA降维接口

from sklearn.decomposition import PCA
# 传入0-1的小数表示保留的方差比例, 传入n_components=2表示保留的维度
pca =PCA()  
 pca.fit(data) 
X_pca = pca.fit_transform(X)  # 降维
X = pca.inverse_transform(X_pca )  # 恢复维度

通过PCA降维n_components=2后进行可视化

# n 为目标种类
for i in range(n):
    plt.scatter(X_pca[y==i, 0], X_pca[y==i, 1], alpha=0.5)