点云处理（1）

1  PCA主成分分析

1.1  前提知识

（1）向量内积：即一个向量在另外一个向量上的投影；

（2）矩阵x向量：矩阵列向量的线性组合；

（3）SVD分解：经过V的旋转，sgm的缩放，U的再次旋转，结果即等价为M。

1.2  谱定理

谱定理，大致意思是对于一个对称矩阵，我们可以用他的特征值特征向量的线性组合表示，严格说明如下：

1.3 瑞利熵

分子为任取向量的模长，用svd的几何意义理解就是对A进行旋转和缩放，旋转不会改变特征值，只有缩放改变其特征值。

1.4  PCA

高维的点，与具有代表的列向量。

Q1：什么是最主要的成分——z1？

也即是说如果把一堆高维的点投影到某一个方向上，使得他的方差最大也就是说那些点在那些方向上分布的最离散。

Q2：找到z1之后怎么找主成分z2向量？

将xi关于z1的全部剔除掉，再找剩余点最主要的成分，即为z2，以此类推。

1.4.1  解析

首先是将其设为0，因为主要关心的是方向，而不是值的大小。

（1）对数据进行去均值

（2）PCA希望寻找一个方向（主方向），使得数据在该方向上的方差最大，我们假设一个主方向 𝑧∈,|𝑧|=1，然后投影到该方向上—内积：

(3)由于数据已经减去了均值，那么根据方差的定义，平方求和就是方差了：

（4）目标是方差最大，即求：

在这里， 𝐴= 是对称阵,当 𝑧 取 𝐴 的最大特征值对应的特征向量时，我们的目标函数取到最大值。

其中z为||z||=1,故zT*z=1。则最后化简得：

min(A)<=z^T*A*z<=max(A)

关键就是求A的特征值与特征向量。

(5)svd分解

如果特征值由大到小排列，那么 𝑈𝑟 的第一列就是最大特征值对应的特征向量。至此，我们找到了一个主方向，数据在这个方向上投影后，方差最大。