线性代数相关

浅谈协方差矩阵
PCA的数学原理
理解PCA和SVD

而B中每一列的模长为$Av_i$由于$v_i$是$A^TA$的特征向量，对应的特征值为$\lambda _i$

网站中有这句话，但是没有详细的推导
以下给出
由于

$$A=BV^T\rightarrow AV=B \\ \rightarrow [Av_1,Av_2,...,Av_n]=B$$
所以B中每一列的模长为 $|Av_i|$
由于上文中 $$A^TA=VDV^T \\ \rightarrow A^TAV=VD$$
而且有 $D=diag{\lambda_1,\lambda_2,...,\lambda_n}$
所以 $$A^TAV=VD=[v_1,v_2,...,v_n]D=[v_1\lambda_1,v_2\lambda_2,...,v_n\lambda_n]$$
而且 $$A^TAV=A^TA[v_1,v_2,...,v_n]$$
由此得 $v_i$是 $A^TA$的特征向量

这在 奇异值分解(SVD)原理详解及推导 同样有用到
奇异值分解(SVD)原理详解及推导
从PCA和SVD的关系拾遗
wikipedia-奇异值分解
奇异值分解（SVD）的之低秩近似和特征降维

阅读顺序：
PCA的数学原理，奇异值分解(SVD)原理详解及推导（穿插）理解PCA和SVD ，从PCA和SVD的关系拾遗，奇异值分解（SVD）的之低秩近似和特征降维

现在谈一下SVD在降维中两种常用的应用

• 一种是利用PCA，$X^TX=U\Sigma V^T$，$Y=XU_{reduce}$，其中$Y$即为把$X$降维后的量(特征向量减少，空间维度降低)
• 另一种是奇异值分解（SVD）的之低秩近似和特征降维中的第二个作用，直接对X降维，表现为只利用一部分的奇异值，让矩阵由秩r变为秩k(r≥k)

线性代数本质-系列视频