数据降维

主成分PCA和SVD都是使用矩阵分解达到降维的方法，在降维的过程中，目的是希望减少特征的数目，同时又希望保留大部分有效信息，所以需要将重复的特征合并，删除无效信息，从而创建出更能代表原特征矩阵大部分信息的低维特征矩阵
PCA降维使用的信息衡量指标是样本方差，在信号处理领域，我们通常认为信号具有较高的方差，噪声具有较低的方差，所以样本方差越大的特征，携带的信息量越多，所以最后我们需要对矩阵的特征值大到小排序，找到我们需要的前k个最大的特征值，并找到对应的特征向量。

var代表了一个特征的方差，n代表样本量，xi代表了该特征中的每一个样本的取值，xhat代表了该特征中样本的均值
至于为什么样本方差的除数是n-1而不是n，这是为了得到样本方差的无偏估计，详细推导见样本方差为何是n-1

这是一组简单的二位数据降维，每一个样本方差都是1，数据的总体方差是2，所以现在需要只用一个特征向量来描述这组数据，并且希望总方差能够达到2，尽可能的保留原数据的信息，所以将原坐标轴逆时针旋转45°，这是三个坐标轴表示为表2的形式，此时的x1的方差为2，x2的方差为0，此时按信息含量排序，所以可以将x2删除，剩下的x1就是代表了曾经需要的两个特征来代表的三个样本点，成功降维。

在步骤3中，通过某种变化，找出n个新的特征向量，让数据能够被压缩到少数特征上并且总信息量不损失太多的技术就是矩阵分解。

基于特征值分解协方差矩阵实现PCA

• 1.去中心化，每一个特征的特征值都减去各自的平均值
• 2.生成协方差矩阵，
• 3.用特征值分解方法求解协方差矩阵的特征值和特征向量，方法如下：

特征值分解，就是将矩阵A分解为如下式：

其中，Q是矩阵A的特征向量组成的矩阵，Σ则是一个对角阵，对角线上的元素就是特征值。

我们来分析一下特征值分解的式子，分解得到的Σ矩阵是一个对角矩阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变换方向（从主要的变化到次要的变化排列）。

当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变换可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变化方向，我们通过特征值分解得到的前N个特征向量，就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵变换。也就是之前说的：提取这个矩阵最重要的特征。

总结：特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多么重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

• 4.对特征值从大到小排序，选择其中最大的k个。然后将其对应的k个特征向量分别作为行向量组成特征向量矩阵P。
• 5.将数据转换到k个特征向量构建的新空间中，即Y=PX。

附上例子，例子来源 https://mp.weixin.qq.com/s/Dv51K8JETakIKe5dPBAPVg、
这里我们用一个简单的方阵来说明特征值分解的步骤。我们的方阵A定义为：

首先，由方阵A的特征方程，求出特征值。

特征值为（重数是2）。

然后，把每个特征值λ带入线性方程组，求出特征向量。

当λ=2时，解线性方程组 。

解得。特征向量为。
当λ=1时，解线性方程组

特征向量为：
最后，方阵A的特征值分解为：

加入此时需要降到1位，就选取特征值对应为2时的特征向量，之后用A*p1，就得到了3×1的矩阵，将原来为3维的数据降到了1维

基于奇异值分解实现PCA降维

由于特征值分解矩阵只能针对方阵，适用面很窄，所以就可以用SVD对非方阵矩阵进行分解。
奇异值分解是一个能适用于任意矩阵的一种分解的方法，对于任意矩阵A总是存在一个奇异值分解：

假设A是一个m×n的矩阵，那么得到的U是一个m×m的方阵，U里面的正交向量被称为左奇异向量。Σ是一个m×n的矩阵，Σ除了对角线其它元素都为0，对角线上的元素称为奇异值。图片是v的转置矩阵，是一个n*n的矩阵，它里面的正交向量被称为右奇异值向量。而且一般来讲，我们会将Σ上的值按从大到小的顺序排列。
上面我们说 的特征向量组成的矩阵就是我们SVD中的V矩阵，
而的特征向量组成的就是我们SVD中的U矩阵

Σ的值有两种计算方式
第一种

第二种：对角元素来源于A×A.T 或 A.T×A的特征值的平方根，并且是按从大到小的顺序排列的

在奇异值分解矩阵中Σ里面的奇异值按从大到小的顺序排列，奇异值从大到小的顺序减小的特别快。在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上。也就是说，剩下的90%甚至99%的奇异值几乎没有什么作用。因此，我们可以用前面r个大的奇异值来近似描述矩阵，于是奇异值分解公式可以写成如下：

附上例子





通过奇异值分解的公式，我们可以很容易看出来，原来矩阵A的特征有n维。经过SVD分解后，可以用前r个非零奇异值对应的奇异向量表示矩阵A的主要特征，这样就把矩阵A进行了降维
假设降到1维，则取奇异值为根号三对应的右奇异向量，也就是
将原数据转换到该特征向量的新空间中，A由（3,2）降到了（3,1）