#机器学习--实例--主成分分析

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

主成分分析（PCA)介绍

        主成分分析（principal components analysis，PCA）是一个简单的机器学习算法，能够在损失精度尽可能少的前提下，对数据进行有损压缩。

---

推导过程

        假设有矩阵 $A_{m,n}$ ，我们希望通过一个函数 $f$ 对其进行有损压缩，即 $C_{l,n}=f(A_{m,n})(l\le m)$ 。压缩后，我们希望能够通过一个函数 $g$ 对其进行最大程度的还原，即 $A_{m,n}\approx g(C_{l,n})$。
        为了使问题简化，我们令解码函数 $g(C_{l,n})=D_{m,l}{C}_{l,n}$ ，在此假设下，我们需要找到编码函数 $f$ ，使得信息损失最小，即：
$$\underset{C}{\mathrm{argmin}}||DC-A|{|}_F$$$$=>\underset{C}{\mathrm{argmin}}||DC-A|{|}_F^2$$$$=>\underset{C}{\mathrm{argmin}}Tr[(DC-A)(DC-A{)}^T]$$$$=>\underset{C}{\mathrm{argmin}}Tr(DC{C}^T{D}^T-DC{A}^T-A{C}^T{D}^T+A{A}^T)$$ $$=>\underset{C}{\mathrm{argmin}}Tr(DC{C}^T{D}^T)-2Tr(DC{A}^T)$$$$求导，令导数为0得：D^{T}DC=D^{T}A$$
        为了确保矩阵 $D$ 的唯一性，令 $D$ 中所有列向量均互为单位正交向量，即 $D^{T}D=I_l$，有 $C=D^{T}A$，即 $f(A)=D^{T}A$ 。至此编码函数找到了，最后一步需要找到矩阵 $D$ ，使得编码解码后的信息损失最小，即：
$$\underset{D}{\mathrm{argmin}}||A-D{D}^{T}A|{|}_F,s.t.D^{T}D=I_l$$$$=>\underset{D}{\mathrm{argmin}}||A-D{D}^{T}A|{|}_F^2,s.t.D^{T}D=I_l$$$$=>\underset{D}{\mathrm{argmin}}Tr[(A-D{D}^{T}A)(A-D{D}^{T}A{)}^T],s.t.D^{T}D=I_l$$$$=>\underset{D}{\mathrm{argmin}}Tr(A{A}^T-2A{A}^{T}D{D}^T+A{A}^{T}D{D}^{T}D{D}^T),s.t.D^{T}D=I_l$$$$=>\underset{D}{\mathrm{argmin}}-Tr(A{A}^{T}D{D}^T),s.t.D^{T}D=I_l$$$$根据拉格朗日乘数法，有：\underset{D}{\mathrm{argmin}}-Tr(A{A}^{T}D{D}^T)+\lambda (D^{T}D-I_l)$$ $$求导，令导数为0得：A{A}^{T}D=\lambda D$$
        最终我们得出结论， $D_{l,n}$ 就是由矩阵 $A{A}^T$ 的 $l$ 个单位特征向量所构成的。若有不懂，请回顾前面的线性代数基础部分。

---

代码实现

import numpy as np


class PCAModel:
    def __init__(self):
        self.d = None

    def fit(self, x, target_l):
        """
        填充训练数据，进行主成分分析
        :param x: 训练数据矩阵，每一个列向量为一条训练数据
        :param target_l: 目标维度，应小于矩阵x中列向量的长度
        """
        if target_l >= x.shape[0]:
            raise ValueError("target_l should greater than x.shape[0]")
        features, f_vec = np.linalg.eig(np.matmul(x, x.T))
        self.d = f_vec[:, :target_l]

    def transform(self, x):
        """
        对数据x进行降维
        """
        return np.matmul(self.d.T, x)

    def reverse_transform(self, x):
        """
        对数据x进行还原
        """
        return np.matmul(self.d, x)


train_x = np.array([[1,2],[3,4],[5,6]])
print(train_x)
# [[1 2]
#  [3 4]
#  [5 6]]
model = PCAModel()
model.fit(tran_x, 2)
result = model.transform(train_x)
print(result)
# [[-5.90229186 -7.47652631]
#  [ 0.40367167 -0.3186758 ]]
pred_y = model.reverse_transform(result)
print(pred_y)
# [[1. 2.]
#  [3. 4.]
#  [5. 6.]]

        从运行结果中可以看出，对数据进行压缩后能够完美进行还原。