Collaborative Filtering 协同过滤小结 part-2：SVD

　　接下来介绍下SVD

基于SVD方法的CF

　　SVD-CF是应用最广也最成功的协同过滤方法，现在对SVD介绍下。

基本SVD方法

　　1) 已知矩阵$A_{n,m}$，如何最大限度地保留信息地近似估计。
　　Singular Value Decomposition给出了一种矩阵分解的方法。
　　

$$A_{n,m} = U_{n,n} \Sigma_{n,n} V_{m,n}^T$$
　　 $其中\Sigma = diag(\sigma_1, \sigma_2, \sigma_3, ..., \sigma_n)$;　 $\sigma_1 \geq \sigma_2 \geq \sigma_3 \geq ... \geq \sigma_r \geq \sigma_{r+1}= ... =\sigma_n=0$
　　 2) 正交性质： $V^{-1}=V^{T};$ $U^TU=V^TV =I; U^{-1}=U^{T};$
　　正交矩阵映射保持距离不变，所以是一个 保距映射。
　　从分解可以理解为，任何一个点，都可以由同维度内两个正交系的乘积表示。
　　 3) F-2阶范数： $||A||_{F}^2 =\left [ \sum_i^n \sum_j |a_{i,j}|^2 \right ] =\sigma_1^2 + \sigma_2^2 + \sigma_3^2 +...+\sigma_r^2$
　　若 $$\hat A = U_{n,k} \Sigma_{k,k} V_{m,k}^T$$ 　　则 $$\underset {rank(B)=k}{min}||A-B||_F^2= ||A-\hat A||_F^2 = \sigma_{k+1}^2 +\sigma_{k+2}^2 +,..., +\sigma_n^2$$ 　　（上面这个是理解SVD在工程中寻优方法的 关键。构造k秩的矩阵B，使得满足最小化F-2阶范数 $||A-B||_F^2$，则可以逼近于 $\hat A$。）
　　那么，我们可以取top-K秩，来估计矩阵A。
　　取top-K秩，还可以实现降噪取主要部分的功能。
　　
　　## 与特征值的关系 ##
　　U的列向量是 $AA^T$的特向。
　　V的列向量是 $A^TA$的特向。

直观理解SVD

　　换个角度，理解下SVD分解。
　　1) 对矩阵$A_{n,m}$，可以看做是m维空间内的一个线性变换。
　　选择同空间内一组正交的单位基底$\left \{v_i \right\}$
　　则可以通过线性变换A，将$\left \{v_i \right\}$投射到另外一组基底表示的空间去，得$\left\{ Av_i \right \}$。
　　若令投射空间的单位基底为$\left \{ u_i \right \}$，则有
　　

$$Av_i = \sigma_i u_i；其中\sigma_i表示投射空间某维上的模\sigma_i = |Av_i|$$
　　 2) 任意向量 $x$由基底$\left \{ v_i\right \}$表示如下： $x=\sum_{i=1}^r<v_i, x_i> v_i$
　　经过 $A$线性变换后：
　　$Ax = A*\sum_{i=1}^r<v_i, x_i> v_i$
　　　　 $= \sum_{i=1}^r A<v_i, x_i> v_i$
　　　　 $= \sum_{i=1}^r A v_i^T x_i v_i$
　　　　 $= \sum_{i=1}^r v_i^T x_i A v_i$
　　　　 $= \sum_{i=1}^r v_i^T x_i \sigma_i u_i$
　　　　 $= \sum_{i=1}^r u_i \sigma_iv_i^T x_i$
　　可以得到： $A=U [\sigma] V^T$
　　 $A[v_1, v_2, ..., v_k] = [\sigma_1 u_1, \sigma_2 u_2, ..., \sigma_k, u_k]$
　　此时，只知道 $v$是正交的，两边同乘以$V^T$，也可以得到 $A=U [\sigma] V^T$
　　 $$A=U [\sigma] V^T$$
　　 3) ${u_i}$之间是什么关系呢？
　　 <Avi,Avk>=(Avi)T∗(Avk)=vTiAT∗(Avk)=<vi,AT∗Avk> <script id="MathJax-Element-1928" type="math/tex"> = (Av_i)^T*(Av_k)=v_i^TA^T*(Av_k)= </script>
　　 notice 若取 ${v_i}$是 $A^TA$的特征向量。对称矩阵的不同非零特值的特向是正交的。
　　则上式 $=v_i^T A^T*Av_k = v_i^T \lambda_k v_k = \lambda_k v^T_i v_k=0$
　　由投射关系可得：
　　 <Avi,Avk>=<σiui,σkuk>=(σiui)T∗(σkuk)=σiσk<ui,uk> <script id="MathJax-Element-1932" type="math/tex"> = <\sigma_i u_i, \sigma_k u_k > = (\sigma_i u_i)^T * (\sigma_k u_k) = \sigma_i \sigma_k </script>
　　 所以 <ui,uk>=0 <script id="MathJax-Element-1933" type="math/tex"> =0</script>，即 $\left \{ u_i\right\}$也是正交的，在 $v$为$A^TA$的特向时。
　　所以 $\sigma_i = |Av_i|= \sqrt {\lambda_i}; 注:|Av_i|_F^2 = \sqrt {\sum_k (\lambda_i * v_{i,k})^2} =\lambda_i * \sqrt {v_i^T v_i}$
　　且 $A$可以表示为：
　　 $$A=U [\sqrt {\lambda}] V^T$$

　　于是我们可以找到两组正交基底，满足条件，what a happy life。
　　对其中一组基底$\left \{ v \right \}$ 经过线性变换$A$，投射到新的正交基底下，表示为$\sqrt {\lambda_i} v_i$，其中 $\lambda$是$A^TA$的特值。
　　

$$A v_i = \sqrt {\lambda_i} u_i$$
　　 $$\lambda 表示 A^TA的特征值，v 表示A^TA的特征向量， u表示AA^T的特征向量$$
　　 到此表明：任意的矩阵$A$可以分解成三个矩阵，$V$表示ori-domain内的一组标准正交基，$\lambda$表示$v$与$u$中的对应向量之间的数量关系（拉伸了多少倍），$U$表示经过$A$线性变换后，co-domain内的一组标准正交基。

reference

1. Using Linear Algebra for Intelligent Information Retrieval
2. http://charleshm.github.io/2016/03/Singularly-Valuable-Decomposition/
3. http://www.ams.org/samplings/feature-column/fcarc-svd
4. http://blog.sciencenet.cn/blog-696950-699432.html