PCA 主成分分析 KPCA

最新推荐文章于 2024-06-23 22:04:38 发布

知了不知蝉鸣惊

最新推荐文章于 2024-06-23 22:04:38 发布

阅读量2.6k

点赞数

分类专栏：机器学习笔记文章标签： PCA 主成分分析

本文链接：https://blog.csdn.net/promisejia/article/details/84451001

版权

机器学习笔记专栏收录该内容

9 篇文章 0 订阅

订阅专栏

文章目录

主成分分析 PCA

1. 结论

1. 单位向量的投影表示：

向量 x 在单位向量 e 上的投影长度值 $e^{T }x$ ，投影向量可以表示 $e^T x e$ 。
所以求向量 a 在另一个向量 b 的投影值可以先求向量 b 的单位向量。(画图列出cos公式: **a . e ** = |a| |e| cos = |a|cos ,即为投影长度值。)

2. 散布（协方差）矩阵

$\sum_{i}^{m} (x_i-m) (x_i-m)^t$ ,数据处理中，先把数据变成均值为 0 的数据分布，此时 $\sum_{i}^{m} x_i x_i^t$ ，注意这是一个矩阵。 $x_i$ 是一个列向量，若 $X = （x_1,x_2,...,x_m)$ ,则协方差矩阵S可以表示成为 $=XX^t = \sum_{i}^{m} x_i x_i^t$

2. PCA算法推导思想

PCA算法将寻找数据里最主要的方面来代替原始数据，从而实现降维。具体地，就是寻找一个最优的坐标系（投影方向），原始数据往这个坐标系投影后实现降维并保留大部分信息。
以下图的二维数据为例子， $\textstyle u_1$ 和 $\textstyle u_2$ 两个坐标系都可以完成2维到1维的数据映射，但是可以看出 $\textstyle u_1$ 是数据变化的主方向，选用 $u 1$ 可以保留更多的数据成分，因此 $u 1$ 为比 $u 2$ 更优的投影方向。

在这里插入图片描述

找到最优方向 $u 1$ 可以有两个思路：

样本点到投影平面的距离足够近（最小化投影距离法）
样本点在这个直线上的投影能尽可能的分开（最大化总投影方差）。

3. 散布矩阵(协方差矩阵)

散布矩阵的形式为： $\sum\limits_{i=1}^{m}(x_{i}-m)(x_{i}-m)^{T}$
若原始数据集经过中心化的，均值为0。则散布矩阵(协方差矩阵)为 $\sum = \sum\limits_{i=1}^{m}(x_{i})(x_{i})^{T}$ 。

注意：当 $x_{i}和x_{j}$ 正交时，可以注意到协方差矩阵 $\sum$ 的特点：除了主对角线外，其余值都为0，而且 $\sum$ 的迹就是数据的总方差。

4. PCA理论推导 -----最大化投影方差法

参考主成分分析（PCA）原理总结，很详细。

这种推导比较简单直接，简单说下思想：

由结论1，对于任意一个样本 $x_{i}$ ，在新的坐标系 $W$ 中的投影为 $W^Tx_{i}$ ，在新坐标系中的投影方差为 $W^Tx_{i}x_{i}^TW$ ，则总的为 $\sum\limits_{i=1}^{m}W^Tx_{i}x_{i}^TW$ ，那么要使所有的样本的投影方差和最大，注意到投影方差为常数，因此也就是最大化 $\sum = \sum\limits_{i=1}^{m}W^Tx_{i}x_{i}^TW$ 的迹。

注：

$W$ 的每一个向量 $w_j$ 是标准正交基：模为1，且正交。
投影前的数据是经过中心化的，均值为0。

则最优化问题为：

$\underbrace{arg\;max}_{W}\;tr( W^TXX^TW) \;\;\; s.t. W^TW=I$
其中, $XX^T$ 即为协方差矩阵 .

对拉格朗日函数对W对导并置为0，且W^TW=I，得到
$XX^t W = \lambda W$
这刚好是矩阵的特征值和特征向量的定义形式，最优解系w刚好是散步矩阵 $XX^T$ 的特征向量，问题转为求样本协方差矩阵的特征向量。

5. 为什么是最大特征值对应的特征向量？

由 $W^T\sum W = \lambda$
为了最大化 $W^T\sum W$ ，选取最大的特征值 $\lambda$ 。

有了上面的数学推导，可以知道：

特征值对应的特征向量就是理想中想取得正确的坐标轴，而特征值就等于数据在旋转之后的坐标上对应维度上的方差。
所以，在数据挖掘中，就会直接用特征值来描述对应特征向量方向上包含的信息量，而某一特征值除以所有特征值的和的值就为：该特征向量的方差贡献率（方差贡献率代表了该维度下蕴含的信息量的比例）。

矩阵乘法的意义

矩阵乘法的意义：引用《线性代数的几何意义》的描述：“矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。