[机器学习]PCA 和协方差矩阵

<p><strong>1.</strong></p><p><strong>PCA 和协方差矩阵</strong></p><p><strong> </strong></p><p><strong>已知一组数据的协方差矩阵P,下面关于主分量说法错误的是(C)</strong></p><p>A主分量分析的最佳准则是对一组数据进行按一组正交基分解, 在只取相同数量分量的条件下,以均方误差计算截尾误差最小 </p><p>B在经主分量分解后,协方差矩阵成为对角矩阵</p><p>C主分量分析就是K-L变换</p><p>D主分量是通过求协方差矩阵的特征值得到</p><p> </p><p>PCA 是一种降维方法，通过线性变换投影将高维数据投影到低维空间上。要找出最能代表原始数据的投影方法，即使得降维后的数据不失真，也就是说被PCA降掉的维度只是噪声或者是冗余数据。</p><p>因此PCA的目的就是降低噪声和去除冗余，使得降低维度的同时保持数据原有特征不失真。</p><p> </p><p>降噪-> 使保留下来的维度空间的相关性尽可能小</p><p>去冗-> 使保留下来的维度的方差尽可能大</p><p> </p><p>用什么数据结构可以同时表现出不同维度间的相关性已经各个维度上的方差呢？</p><p>当然是协方差矩阵。协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间的关系。</p><p>协方差矩阵的主对角线上的元素是各个维度的方差，即能量。</p><p>协方差矩阵其他上的元素是两两维度间的方差，即相关性。</p><p> </p><p>降噪：使得不同维度之间的相关性尽可能的小，也就是说让协方差矩阵中非对角线元素都基本为0；（通过线性代数中的矩阵对角化实现-ＰＣＡ的本质）</p><p>去冗：对角线上较小的新方差就是那些该去掉的维度，所以我们只取那些含有较大能量的维度，其余的去掉即可。</p><p> </p><p>ＰＣＡ流程：</p><p>1.      形成样本矩阵S，样本中心化</p><p>2.      计算样本矩阵的协方差矩阵C</p><p>3.      对协方差矩阵进行特征值分解，选取最大的P个特征值对应的特征向量组成投影矩阵P</p><p>4.      对原始样本矩阵S 进行投影，得到降维后的新样本矩阵S1=S*P。</p><p> </p><p><span style="color:rgb(68, 68, 68);">是不同的概念，</span><span style="color:rgb(68, 68, 68);">PCA</span><span style="color:rgb(68, 68, 68);">的变换矩阵是协方差矩阵，</span><span style="color:rgb(68, 68, 68);">K-L</span><span style="color:rgb(68, 68, 68);">变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当</span><span style="color:rgb(68, 68, 68);">K-L</span><span style="color:rgb(68, 68, 68);">变换矩阵为协方差矩阵时，等同于</span><span style="color:rgb(68, 68, 68);">PCA</span><span style="color:rgb(68, 68, 68);">。</span></p>