PCA主成分分析与SVG隐语义

PCA

模式识别中用于主特征提取以实现降维。
假设

$$X=\begin{bmatrix} x_1&x_2&\cdots&x_n \end{bmatrix}^T$$
是一个n维随机向量。向量
$$Y=\begin{bmatrix} y_1&y_2&\cdots&y_n \end{bmatrix}^T$$
满足 $Y=CX$
C是正交矩阵，X经过不同的投影变换后
得到如： $y_1=c_{11}x_1+c_{12}x_2+c_{13}x_3+...+c_{1n}x_n$
$y_2=c_{21}x_1+c_{22}x_2+c_{23}x_3+...+c_{2n}x_n$
其中 $C_{k_1}^2+C_{k_2}^2+...+C_{k_n}^2=1$
使它在得到的 $y_1$维度上具有最大的方差，即通过 $y_1$这个维度能更好的将不同类别物品分开。而经过投影后的 $y_2$维度具有次大方差，依此类推。
如何求出C呢？
由于 $y_i$之间不相关，因此整个Y矩阵的协方差矩阵
$$YY^T=CXX^TC^T=\Lambda$$
$$\Lambda=\begin{bmatrix} \lambda_1\\ &\lambda_2\\ & &\lambda_3\\ & & &...\\ & & & ...& &\lambda_n\\ \end{bmatrix}$$
令 $R=XX^T$则有 $RC^T=C^T\Lambda$,将该式展开，得到 $n^2$个方程。假使R的第一行乘以 $C^T$的第一列，得到了n个方程。根据齐次线性方程组有非零解的条件是系数矩阵的行列式=0，即系数矩阵的秩< n，即 $|R_1-\lambda_1 I|=0$。由此解得 $\lambda_1$。其他 $\lambda$的值相应也可以得到。有了n个 $\lambda$的值。又有 $n^2$个方程，因此解得矩阵C。
这样对于一个有n个用户，每个用户又有对n个物品的购买记录的数据矩阵 $N_{(n*n)}$，就可以用PCA通过商品购买记录区分用户（相似的用户还喜欢商品ABCD）。
而对应于矩阵 $X$变换后的矩阵$Y$其实可以去掉Y的某些排在后面(不重要)的维度，这样在分类时就大大减少了负载。通过减少维度使 $X_{n*1}$被 $Y_{m*1}$取代，这相当于对矩阵 $N_{n*n}$压缩到了 $M_{m*n}$。直接存储更新M用于分类。
当然你可以选择用PCA通过用户对商品的喜好来分类用户眼中相似的商品（相似的商品有ABCD）。这就是在做列压缩了。
行压缩和列压缩都进行的话，对应相同的原理却要算两趟，SVD则很好的’包装’了PCA。

---

SVD隐语义模型

用于非方阵的分解
矩阵的特征值$\lambda$，特征向量$\nu$，变换基$A$之间的关系：

$$A\nu=\lambda \nu$$
现在假定给你一组已知数据$S_{n*n}$那么我们假设S它是一组变换基，则通过$|\lambda E-A|=0$关系式可以求得S的一组特征值，再通过每个特征值解出对应的特征向量。有人会问这有什么用啊？
通过特征值构成的对角矩阵$\Sigma$，特征向量$Q$，可以将原矩阵表示为 $$A=Q\Sigma Q^{-1}$$
这样就将样本$A$用三个矩阵来表示了，然而表示需要的存储空间却并没有得到改进。
如果$A$不是n*n矩阵而是m*n即m个用户n个物品购买记录呢?

$$A_{m*n}=U_{m*m}\Sigma_{m*n} {V^T}_{n*n}$$
这就是奇异值分解，将任意矩阵分解成上述形式。其中
$U$称为左奇异量，$\Sigma$除了对角线上的值称为奇异值，除对角线外其它都是0（ SVD怎么求的）， $V$称为右奇异量。
对于矩阵 $A_{m*n}$通过 $(AA^T)\nu=\lambda\nu$ 求得特征向量 $\nu$ 就是右奇异量V， $\sigma=\sqrt \lambda$ 就是奇异值且在 $\Sigma$ 中从大到小排列，有了 $\Sigma$ 和 $V^T$ , $\mu=\frac {A\nu}{\sigma}$即左奇异值。
进一步将 $\Sigma$根据奇异值大小缩减维度将m*n变成r*r；
相应的将U变成m*r;将 $V^ T$ 变成r*n维。得到 $$A_{m*n}\approx U_{m*r}\Sigma_{r*r}{V^T}_{r*n}$$
这时候已经实现了 $A_{m*n}$ 的压缩存储。
对于上述约等式右乘 $V_{n*r}$ 由于V正交。左边得到 $A_{m*n}V_{n*r}$其实这是在对A做列压缩。类似的左乘 $U_{r*m}$ 得到 $U_{r*m}A_{m*n}$这是在对A做行压缩。
通过SVD解得U和V就可以根据需要对A做行压缩或列压缩。