【机器学习】主成分分析法

原创声明：本文为犇丿灬犇原创文章未经博主允许不得转载。犇丿灬犇博客地址 [犇丿灬犇博客]

主成分分析（Principal components analysis，以下简称PCA）是一种简单的机器学习算法。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。可以通过线性代数的方法进行推导。
##推导过程
假设在${\mathbb{R}}^n$空间有$m$个点 { x ( 1 ) , x ( 2 ) , . . . x ( m } \{x^{(1)},x^{(2)},...x^{(m}\} {x(1),x(2),...x(m}，我们希望对这些点进行有损压缩。这可以使我们使用更少的内存来存储信息，但我们希望精度损失尽可能少。
主成分分析是一种编码方法，即用函数$f(\mathbf{x})=\mathbf{c}$，其中$\mathbf{x}\in {\mathbb{R}}^n$，$\mathbf{c}\in {\mathbb{R}}^m$,$m<n$，主成分分析选择解码函数为$g(\mathbf{c})=\mathbf{D}\mathbf{c}$，其中$\mathbf{D}\in {\mathbb{R}}^{n\times m}$，其列向量彼此正交且为单位向量，为得到一个最优解${\mathbf{c}}^{\ast }$，需要使$\mathbf{c}与\mathbf{x}$的距离最小，即：
$${\mathbf{c}}^{\ast }=\arg \underset{\mathbf{c}}{\min }\Vert \mathbf{x}-g(\mathbf{c}){\Vert }_2^2$$
也即：
$${\mathbf{c}}^{\ast }=\arg \underset{\mathbf{c}}{\min }(\mathbf{x}-g(\mathbf{c}){)}^T(\mathbf{x}-g(\mathbf{c}))$$
由于${\mathbf{x}}^T\mathbf{x}$不依赖于$\mathbf{c}$因此
$${\mathbf{c}}^{\ast }=\arg \underset{\mathbf{c}}{\min }(-2{\mathbf{x}}^{T}g(\mathbf{c})+g(\mathbf{c}{)}^{T}g(\mathbf{c}))$$
更进一步带入$g(\mathbf{c})=\mathbf{D}\mathbf{c}$

$${\mathbf{c}}^{\ast }=\arg \underset{\mathbf{c}}{\min }(-2{\mathbf{x}}^T\mathbf{D}\mathbf{c}+{\mathbf{c}}^T{\mathbf{I}}_l\mathbf{c})$$

根据梯度下降法取$ (-2\mathbf x^T\mathbf {Dc}+\mathbf c^T\mathbf I_l \mathbf c)$的梯度等于零
$${▽}_{\mathbf{c}}(-2{\mathbf{x}}^T\mathbf{D}\mathbf{c}+{\mathbf{c}}^T{\mathbf{I}}_l\mathbf{c})=0$$
得：
$$\mathbf{c}={\mathbf{D}}^T\mathbf{x}$$
因此
$$\mathbf{x}\approx g(f(\mathbf{x}))=\mathbf{D}{\mathbf{D}}^{\mathbf{T}}\mathbf{x}=r(\mathbf{x})$$
接下来分析如何挑选$\mathbf{D}$，要挑选最优的$\mathbf{D}$就必须使所有的点重构值与真实值之间距离和最小，即：
$${\mathbf{D}}^{\ast }=\arg \underset{\mathbf{D}}{\min }\sqrt{\sum _{i,j}(x_j^{(i)}-r({\mathbf{x}}^{(i)}{)}_j{)}^2},这里{\mathbf{D}}^T\mathbf{D}={\mathbf{I}}_l$$
为简化运算以寻求${\mathbf{D}}^{\ast }$的算法，取$l=1$此时$D$变为一个列向量$\mathbf{d}$。

整理得：$${\mathbf{d}}^{\ast }=\arg \underset{\mathbf{d}}{\min }\sum _i\Vert {\mathbf{x}}^{(i)}-{\mathbf{d}{\mathbf{d}}^{\mathbf{T}}\mathbf{x}}^{(i)}){\Vert }^2,这里{\mathbf{d}}^T\mathbf{d}=1$$
将求和形式写成矩阵形式：
$${\mathbf{d}}^{\ast }=\arg \underset{\mathbf{d}}{\min }\Vert \mathbf{X}-\mathbf{X}\mathbf{d}{\mathbf{d}}^{\mathbf{T}}{\Vert }^2,这里{\mathbf{d}}^T\mathbf{d}=1$$
不考虑${\mathbf{d}}^T\mathbf{d}=1$
得：
\begin{equation}
\begin{split}
\mathbf d^&= \arg\min_{\mathbf d}|\mathbf X-\mathbf {Xdd^T}|2\
&= \arg\min_{\mathbf d} \ Tr((\mathbf X-\mathbf {Xdd^T})T(\mathbf X-\mathbf {Xdd^T}))
\end{split}
\end{equation}
整理(除去与$\mathbf{d}$无关项)得：
\begin{equation}
\begin{split}
\mathbf d^&= \arg\min_{\mathbf d}(-2Tr(\mathbf{X^TXddT})+Tr(\mathbf{X^TXddTdd^T}))
\end{split}
\end{equation}

考虑${\mathbf{d}}^T\mathbf{d}=1$
\begin{equation}
\begin{split}
\mathbf d^*&= \arg\min_{\mathbf d}(-Tr(\mathbf{X^TXddT})) \
&=\arg\max_{\mathbf d}(Tr(\mathbf{X^TXddT}))\
&=\arg\max_{\mathbf d}(Tr(\mathbf{d^TXTXd}))
\end{split}
\end{equation}
上式可以通过特征分解求解，最优的$\mathbf{d}$是${\mathbf{X}}^{\mathbf{T}}\mathbf{X}$的最大特征值对应的特征向量。此为$l=1$时的情况，更一般的，主成分分析可以取$l$个特征值对应的特征向量，这可以用数学归纳法证明。
##sklearn中主成分分析法的使用

class sklearn.decomposition.PCA(n_components=None, copy=True, whiten=False)

###参数含义
n_components

意义：PCA算法中所要保留的主成分个数n，也即保留下来的特征个数n
类型：int 或者 string，缺省时默认为None，所有成分被保留。
赋值为int，比如n_components=1，将把原始数据降到一个维度。
赋值为string，比如n_components=‘mle’，将自动选取特征个数n，使得满足所要求的方差百分比。

copy:

类型：bool，True或者False，缺省时默认为True。
意义：表示是否在运行算法时，将原始训练数据复制一份。
若为True，则运行PCA算法后，原始训练数据的值不会有任何改变，因为是在原始数据的副本上进行运算；
若为False，则运行PCA算法后，原始训练数据的值会改，因为是在原始数据上进行降维计算。

whiten:

类型：bool，缺省时默认为False
意义：白化，使得每个特征具有相同的方差。
###类对象
components_ ：返回具有最大方差的成分。
explained_variance_ratio_：返回 所保留的n个成分各自的方差百分比。
n_components_：返回所保留的成分个数n。
mean_：
noise_variance_：
###类方法
fit(X,y=None)
fit()可以说是scikit-learn中通用的方法，每个需要训练的算法都会有fit()方法，它其实就是算法中的“训练”这一步骤。因为PCA是无监督学习算法，此处y自然等于None。
fit(X)，表示用数据X来训练PCA模型。
函数返回值：调用fit方法的对象本身。比如pca.fit(X)，表示用X对pca这个对象进行训练。

fit_transform(X)

用X来训练PCA模型，同时返回降维后的数据。
newX=pca.fit_transform(X)，newX就是降维后的数据。

inverse_transform()

将降维后的数据转换成原始数据，X=pca.inverse_transform(newX)

transform(X)

将数据X转换成降维后的数据。当模型训练好后，对于新输入的数据，都可以用transform方法来降维。

此外，还有get_covariance()、get_precision()、get_params(deep=True)、score(X, y=None)等方法。

1. https://www.cnblogs.com/eczhou/p/5433856.html
2. [美]伊恩·古德费洛（Lan Goodfellow）[加]约书亚·本吉奥（Yoshua Bengio）[加]亚伦·库维尔（Aaron Courville）深度学习【M】