三维点云处理-1.2主成分分析PCA

一、

主成分（PCA）概念：将数据点投影到有特征性的方向上，每个数据点在向量上的投影就是主成分。

                            

主成分用途：降维、法向量的估计、分类

二、

PCA的数学概念和物理意义

                          

两个向量内积（投影）                  列的线性组合         旋转、维度缩放、旋转（圆-椭圆）

1.SVD

2.Spectral theorem 谱定理（特征值）

3.Rayleigh quotients 瑞利熵

（分母是模）

① SVD物理意义理解：A最多能拉长或缩短x多少倍（旋转不会改变大小）

② 瑞利熵的证明：

第一行用谱定理

三、

PCA运作

主成分输入：一堆高维的点

主成分输出：一堆最主要的向量，最有代表性的高维的向量（高维点投影到某个方向上，方差要最大）

1.方差找最大的Z1

2.去掉属于Z1的成分，然后找剩下的主成分

3.过程可以重复很多遍找到我们想要的主向量

4.PCA具体步骤

步1：一堆点平均值设为0，减去平均值，关心的是方向所以中心点在哪里不重要。

步2：每个数据点Xi 点投影到Z上就是阿尔法这么多

步3：PCA是要找到方差（已经减掉了平均值），PCA的目的就是找到在某个方向上的最大值

发现跟瑞利熵很像（把XXT看成矩阵），故直接套用瑞利熵和谱定理：

为什么H=而不是，是因为用SVD再次做了分解：

可看到谱定理和SVD非常相关，为啥用SVD，因为可以继续求Z2

 

步1.把属于Z1的成分去掉，把每个数据点投影到Z1，再用数据点减掉，可以变成矩阵形式。

步2.重新用SVD和的形式，Ur旋转矩阵每一列都互相垂直可以消掉进一步简化。再把i从1变成2形式变出来了。

现在的矩阵是刨去了Z1主成分的矩阵，故新矩阵的第一列，原矩阵的第二列Ur

 放弃过程可以重复很多遍，直到找到我们想要。

5.PCA步骤总结：有一堆点

①减掉数据点的中心 ② 做这个矩阵的SVD，找到Ur（第一个主向量第一列，第二个主向量第二列以此类推）

物理角度看PCA：基底的置换，一堆高维数据点，怎么去找出一组基底是最具代表性的方向，第二组就垂直第一个基底的另一个基底

四、

主成分用途：

1.降维 （最大程度保存原始信息）

①降维N-L（Encoder）在N维，PCA找出L个主向量小于N，得到L个Z{Z1,Z2,Z3,Z4...},将Xi投影到每个Z上，得到Xi在每个主向量投影后的成分，所以一个N维点可以用L维a系数来代替。

②升维L-N（Decoder）（会损失数据）

 a是x在z上的投影，重新加起来就是了，会损失数据（除非L=N），但因为主成分精心挑选，损的不算多。

Eigenfaces 类似。图片/人脸识别 （与哪个系数最相近）比深度学习好在需要的图片数量很小