三维点云 PCA(上)

PCA

PCA定义

PCA（Principal Component Analysis）主成分分析；
主成分：可以理解为某个特征的方差；方差越大，越倾向于这个特征（这个成分越是主要的），相对的，方差越小，越不可能趋向它。

定义
它是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

PCA属性与作用

作用：

1. （有损的）数据压缩
2. 降维
3. 分类

属性：

• 目的：特征的方差大，协方差小；
• 分解后的各个向量存在着不可解释性
• 第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。

PCA的实现步骤

设有 m 条 n 维数据。

将原始数据按列组成 n 行 m 列矩阵 X；

注意数据是竖着放的

将 X 的每一行进行零均值化，即减去这一行的均值；

此操作为中心化：

• 因为样本需要计算方差如$x-\bar{x}$,为了后面计算先进行中心化，方便计算；
• 中心化后也方便观察数据，把数据分类。

求出协方差矩阵 $\frac{1}{m}\ast X{X}^T$；

协方差公式可以表示为:
$$\mathrm{Cov}(a,b)=\frac{1}{m-1}\sum _{i=1}^m\left(a_i-{\mu }_a\right)\left(b_i-{\mu }_b\right)$$

协方差为 0 时，两个变量只是线性不相关。当我们中心化后，即为期望为0后，协方差公式可写成如下所示：
$$\mathrm{Cov}(a,b)=\frac{1}{m}\sum _{i=1}^m{a}_i{b}_i$$
则可用矩阵的形式$\frac{1}{m}\ast X{X}^T$表示出来改协方差矩阵。

协方差矩阵表示的是
Cov(X,Y) > 0时，X、Y正相关，即两者有同时增加或者减少的倾向
Cov(X,Y) < 0时，X、Y负相关，即两者有反向增加或者减少的倾向
Cov(X,Y) = 0时，X、Y不相关
特别地有Cov(X,X)=Var(X)。其对角线为方差

求出协方差矩阵的特征值及对应的特征向量；

协方差矩阵是一个方阵；所以肯定可以提取特征值、特征向量

将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 k 行组成矩阵 P；Y=PX 即为降维到 k 维后的数据。

PCA在三维点云上的应用在三维点云 PCA(下)中进行进一步的讲解。