三维点云处理-chap1

1.介绍

略

2.PCA&KPCA

（1）PCA
主成分分析

SVD;

矩阵分解M:
U和V*都是正交矩阵，这里相当于旋转
Σ这里是缩放，一个对角阵，对角线储存了M的特征值.

当A是对称矩阵有这么个性质，跟上面SVD很相似，不过左右是同一个U

跟上面的SVD联系起来看，这定理实际讲的是A可以拉长或者缩短这个向量多少倍（取决于Σ，因为旋转不改变大小）

公式Rayleigh quotients证明：

PCA是啥：
投影到一个方向（z1,…zk为k个最大方差方向）上方差最大

两个向量的内积就是投影

第三行可以想到Rayleigh Quotients：

上面U1就是Ur的第一列，也就是z1，上面分解H为何是Σ平方，因为X可以进一步SVD分解：

把X写成SVD的形式
除掉z1的那部分继续重复以上步骤，算出z2

发现这个矩阵的U的第一列就是原来的矩阵的Ur的第二列。
总结：

PCA降维：n–>l

例子：

上面第一列是平均值
第二列是用一个主向量z1重构
最后一列用六个主向量重构，可以看到非常接近了。
对ai做聚类可以做数字的识别。

（2）kernel PCA
在数据不是线性的情况下怎么办？