PCA算法介绍及源码实现

前言

PCA（主成分分析）是十大经典机器学习算法之一。PCA是Pearson在1901年提出的，后来由Hotelling在1933年加以发展提出的一种多变量的统计方法。

PCA算法介绍

PCA（principal components analysis）即主成分分析技术，又称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。

在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。

PCA算法优点：

1、使得数据集更易使用；
2、降低算法的计算开销；
3、去除噪声；
4、使得结果容易理解；
5、完全无参数限制。

PCA算法缺点：

1、主成分解释其含义往往具有一定的模糊性，不如原始样本完整
2、贡献率小的主成分往往可能含有对样本差异的重要信息，也就是可能对于区分样本的类别（标签）更有用
3、特征值矩阵的正交向量空间是否唯一有待讨论
4、无监督学习

PCA算法应用：

PCA算法已经被广泛的应用于高维数据集的探索与可视化，还可以用于数据压缩，数据预处理等领域。在机器学习当中应用很广，比如图像，语音，通信的分析处理。PCA算法最主要的用途在于“降维”，去除掉数据的一些冗余信息和噪声，使数据变得更加简单高效，提高其他机器学习任务的计算效率。

PCA算法求解步骤：

1. 去除平均值
2. 计算协方差矩阵
3. 计算协方差矩阵的特征值和特征向量
4. 将特征值排序
5. 保留前N个最大的特征值对应的特征向量
6. 将原始特征转换到上面得到的N个特征向量构建的新空间中（最后两步，实现了特征压缩）

源码实现：

1.导包

import numpy as np

2.初始化PCA类

class PCA:

    def __init__(self, n_components):
        """初始化PCA"""
        assert n_components >= 1, "n_components must be valid"
        self.n_components = n_components
        self.components_ = None

3.训练方法

    
def fit(self, X, eta=0.01, n_iters=1e4):
    """获得数据集X的前n个主成分"""
    assert self.n_components <= X.shape[1], \
        "n_components must not be greater than the feature number of X"
    def demean(X):
        return X - np.mean(X, axis=0)
    def f(w, X):
        return np.sum((X.dot(w) ** 2)) / len(X)
    def df(w, X):
        return X.T.dot(X.dot(w)) * 2. / len(X)
    def direction(w):
        return w / np.linalg.norm(w)
    def first_component(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):
        w = direction(initial_w)
        cur_iter = 0
        while cur_iter < n_iters:
            gradient = df(w, X)
            last_w = w
            w = w + eta * gradient
            w = direction(w)
            if (abs(f(w, X) - f(last_w, X)) < epsilon):
                break
            cur_iter += 1
        return w
    X_pca = demean(X)
    self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
    for i in range(self.n_components):
        initial_w = np.random.random(X_pca.shape[1])
        w = first_component(X_pca, initial_w, eta, n_iters)
        self.components_[i, :] = w
        X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w
    return self

转换

def transform(self, X):
    """将给定的X，映射到各个主成分分量中"""
    assert X.shape[1] == self.components_.shape[1]

    return X.dot(self.components_.T)

反转转换

def inverse_transform(self, X):
    """将给定的X，反向映射回原来的特征空间"""
    assert X.shape[1] == self.components_.shape[0]
    
    return X.dot(self.components_)

完整代码

import numpy as np


class PCA:

    def __init__(self, n_components):
        """初始化PCA"""
        assert n_components >= 1, "n_components must be valid"
        self.n_components = n_components
        self.components_ = None

    def fit(self, X, eta=0.01, n_iters=1e4):
        """获得数据集X的前n个主成分"""
        assert self.n_components <= X.shape[1], \
            "n_components must not be greater than the feature number of X"

        def demean(X):
            return X - np.mean(X, axis=0)

        def f(w, X):
            return np.sum((X.dot(w) ** 2)) / len(X)

        def df(w, X):
            return X.T.dot(X.dot(w)) * 2. / len(X)

        def direction(w):
            return w / np.linalg.norm(w)

        def first_component(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):

            w = direction(initial_w)
            cur_iter = 0

            while cur_iter < n_iters:
                gradient = df(w, X)
                last_w = w
                w = w + eta * gradient
                w = direction(w)
                if (abs(f(w, X) - f(last_w, X)) < epsilon):
                    break

                cur_iter += 1

            return w

        X_pca = demean(X)
        self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
        for i in range(self.n_components):
            initial_w = np.random.random(X_pca.shape[1])
            w = first_component(X_pca, initial_w, eta, n_iters)
            self.components_[i, :] = w

            X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w

        return self

    def transform(self, X):
        """将给定的X，映射到各个主成分分量中"""
        assert X.shape[1] == self.components_.shape[1]

        return X.dot(self.components_.T)

    def inverse_transform(self, X):
        """将给定的X，反向映射回原来的特征空间"""
        assert X.shape[1] == self.components_.shape[0]

        return X.dot(self.components_)

    def __repr__(self):
        return "PCA(n_components=%d)" % self.n_components

结语

PCA是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于识别和提取数据的主要特征分量，通过将数据坐标轴旋转到数据角度上那些最重要的方向（方差最大）；然后通过特征值分析，确定出需要保留的主成分个数，舍弃其他非主成分，从而实现数据的降维。降维使数据变得更加简单高效，从而实现提升数据处理速度的目的，节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。PCA算法已经被广泛的应用于高维数据集的探索与可视化，还可以用于数据压缩，数据预处理，图像，语音，通信的分析处理等领域。