第7章 PCA与梯度上升法 学习笔记中

目录

7-4 求数据的前n个主成分

获得前n个主成分

7-5 高维数据映射为低维数据

 从高维数据向低维数据的映射

scikit-learn中的PCA

主成分所解释的方差

使用PCA对数据进行降维可视化

---

 

7-4 求数据的前n个主成分

本质上是从一组坐标系转移到了另一个坐标系

n维数据有N个轴之前求的是一个轴的投影

抽象类比将样本投影到x,y两个轴上，有两个方向的成分，现存只是x,y轴变成倾斜的，所以仍然有两个分量

这样会得到第二个主成分

获得前n个主成分

def f(w, X):
    return np.sum((X.dot(w)**2)) / len(X)

def df(w, X):
    return X.T.dot(X.dot(w)) * 2. / len(X)

def direction(w):
    return w / np.linalg.norm(w)

def first_component(X, initial_w, eta, n_iters = 1e4, epsilon=1e-8):
    
    w = direction(initial_w) 
    cur_iter = 0

    while cur_iter < n_iters:
        gradient = df(w, X)
        last_w = w
        w = w + eta * gradient
        w = direction(w) 
        if(abs(f(w, X) - f(last_w, X)) < epsilon):
            break
            
        cur_iter += 1

    return w

X2 = X - X.dot(w).reshape(-1, 1) * w

X.dot(w) 表示 mX1的向量，是m 个元素表示每一个映射到w方向上的模，将其转化为列向量

下面不用矩阵运算的结果，是循环的结果

def first_n_components(n, X, eta=0.01, n_iters = 1e4, epsilon=1e-8):
    X_pca = X.copy()
    X_pca = demean(X_pca)
    res = []
    for i in range(n):
        initial_w = np.random.random(X_pca.shape[1])
        w = first_component(X_pca, initial_w, eta)
        res.append(w)
        
        X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w
        
    return res

7-5 高维数据映射为低维数据

 

每个主成分是单位向量，

k <n 从n维映射到k维

m个样本，每个有k维，即完成了降维操作

 从高维数据向低维数据的映射

PCA.py

import numpy as np


class PCA:

    def __init__(self, n_components):
        """初始化PCA"""
        assert n_components >= 1, "n_components must be valid"
        self.n_components = n_components
        self.components_ = None

    def fit(self, X, eta=0.01, n_iters=1e4):
        """获得数据集X的前n个主成分"""
        assert self.n_components <= X.shape[1], \
            "n_components must not be greater than the feature number of X"

        def demean(X):
            return X - np.mean(X, axis=0)

        def f(w, X):
            return np.sum((X.dot(w) ** 2)) / len(X)

        def df(w, X):
            return X.T.dot(X.dot(w)) * 2. / len(X)

        def direction(w):
            return w / np.linalg.norm(w)

        def first_component(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):

            w = direction(initial_w)
            cur_iter = 0

            while cur_iter < n_iters:
                gradient = df(w, X)
                last_w = w
                w = w + eta * gradient
                w = direction(w)
                if (abs(f(w, X) - f(last_w, X)) < epsilon):
                    break

                cur_iter += 1

            return w

        X_pca = demean(X)
        self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
        for i in range(self.n_components):
            initial_w = np.random.random(X_pca.shape[1])
            w = first_component(X_pca, initial_w, eta, n_iters)
            self.components_[i,:] = w

            X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w

        return self

    def transform(self, X):
        """将给定的X，映射到各个主成分分量中"""
        assert X.shape[1] == self.components_.shape[1]

        return X.dot(self.components_.T)

    def inverse_transform(self, X):
        """将给定的X，反向映射回原来的特征空间"""
        assert X.shape[1] == self.components_.shape[0]

        return X.dot(self.components_)

    def __repr__(self):
        return "PCA(n_components=%d)" % self.n_components

scikit-learn中的PCA

sklearn中的方法和上面咱的梯度上升的方法不同，所以其方向 是相反的，没关系

主成分所解释的方差

第一轴能解释14%的数据，第二轴的数据能解释多少的方差，通过这个变量找到将数据降到多少维

 

表示取样本的特征多少时，其能解释多少的方差

实例pca时传入一个小数即可

使用PCA对数据进行降维可视化

数据降到2维好处是有利于可视化

只是想区别蓝色和紫色的数据也许用二维的降维就可以了