机器学习入门：吴恩达机器学习（第八周）主成分分析法—对于奇异值分解（SVD）与PCA的思考（一）

吴恩达机器学习（第八周）主成分分析法—对于SVD与PCA的思考

 

相信很多基础薄弱的小伙伴在看了Ng男神的PCA章节时，对于奇异值分解（svd）一头雾水，更不清楚svd与主成分分析（PCA）有什么关联，是怎么做到降维的呢？

这里我就一步一步告诉大家

 

1.协方差矩阵

Ng使用如下协方差矩阵作为svd的输出：

那么协方差矩阵是什么呢？

通常，在提到协方差的时候，需要对其进一步区分：

（1）随机变量的协方差。跟数学期望、方差一样，是分布的一个总体参数

（2）样本的协方差。是样本集的一个统计量，可作为联合分布总体参数的一个估计。在实际中计算的通常是样本的协方差。

 

没错，红色框框部分就是Ng在一开始的时候对数据做的归一化操作，原来出处在这里！

 

2.矩阵的几何意义

我们知道，矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如下式就是对向量（x,y）做基于左半边矩阵的线性变换：

为什么是线性呢，假设平面坐标轴的两个基向量为ei=（1,0）和ej=（0,1），而在以ex和ey为基准的平面坐标系中，上式左半边这部分其实是相当于对ex和ey构成的平面坐标系进行线性变换，使得在新的坐标系中，ei=（1,4），ej=（2,5）(下面红色竖线分割的左右两边就是分别代表线性变换后的两个基向量)，因此我们知道了基向量的变换比例和方式，然后就可以对（x,y）进行同比例的变换了，

这就就是我们的矩阵与向量的乘法的几何意义，同时线性变换也可以映射到高维，x、y、z、p...（就是上面式子左半边和右半边的行数）

 

3. 特征值分解（特征值和特征向量）

如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。也就是说，如果存在某个或某些向量在通过矩阵A的作用之后，它只是伸长或者缩短，其位置仍停留在其原来张成的直线上，那么称之为A的特征向量，伸长或者缩短的倍数称为对应特征向量的特征值

直观理解就是从向量c变为向量c‘

 

 

如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式，意思就是向量v通过矩阵A的线性变换以后，还是保持在原向量的那条直线上，只是向量的长度发生了倍数变化：

（1）

其中 I 是与A行列同阶的单位矩阵，这时候λ被称为特征向量v对应的特征值。

 因此X的一组特征向量（由两个特征向量构成）可以写成

这个特征向量组的矩阵是由两个特征向量构成（左边一列代表第一个特征向量，右边一列代表第二个特征向量）

  

特征向量之所以被称为“特征”，因为它具有方向不变的特性

所谓特征向量概念的亮点之一是不变量，这里叫线性不变量，就是在矩阵A的作用下不变方向只变长度。矩阵A的特征向量之间只是长度成比例，方向一样

对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵，常写为diag（a1，a2,…,an) 。对角矩阵可以认为是矩阵中最简单的一种，值得一提的是：对角线上的元素可以为 0 或其他值，对角线上元素相等的对角矩阵称为数量矩阵；对角线上元素全为1的对角矩阵称为单位矩阵。对角矩阵的运算包括和、差运算、数乘运算、同阶对角阵的乘积运算，且结果仍为对角阵。

特征值分解是找最相似的矩阵

特征值分解是将一个矩阵分解为如下形式： 

其中，Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵A的信息可以由其特征值和特征向量表示。

对于矩阵为高维的情况下，那么这个矩阵就是高维空间下的一个线性变换。可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。

总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵
--------------------- 
原文链接：https://blog.csdn.net/zhengwei223/article/details/78913898