机器学习实战的P264中代码对应的公式推导

文章针对以下代码重点研究：

xformedItems = dataMat.T * U[:,:4] * Sig4.I 

首先是SVD分解的公式（注意不是SVD近似公式）：
$$M_{m\cdot n}=U_{m\cdot m}\cdot {\Sigma }_{m\cdot n}\cdot {(V_{n\cdot n})}^T$$
注意$\Sigma$在python代码中返回时，是一个向量，矩阵论中是一个对角矩阵。
对角线上都是各个奇异值，其余元素都是0.
并且$\Sigma$矩阵必定是从大到小排序过的。
其中$U_{m\cdot m}$和$V_{n\cdot n}$是正交阵
正交矩阵的各行是单位向量且两两正交
正交矩阵的各列是单位向量且两两正交
对于正交阵$A$（特指方阵）有以下性质：
$$A^T=A^{-1}$$
如果从$U_{m\cdot m}$中抽取k列，构成$U_{m\cdot k}$，且$U_{k\cdot m}=(U_{m\cdot k}{)}^T$
如果从$V_{m\cdot m}$中抽取k列，构成$V_{m\cdot k}$，且$V_{k\cdot m}=(V_{m\cdot k}{)}^T$
那么有：
$$U_{k\cdot m}\cdot U_{m\cdot k}=E_{k\cdot k}①$$
$U_{m\cdot k}\cdot U_{k\cdot m}$≠$E_{m\cdot m}$
$$V_{k\cdot m}\cdot V_{m\cdot k}=E_{k\cdot k}②$$
$V_{m\cdot k}\cdot V_{k\cdot m}$≠$E_{m\cdot m}$

上述等式的成立条件是：k≤m
注意上面①②的每个式子的顺序不能反，
接下来是SVD的近似公式：
$$M_{m\cdot n}\approx U_{m\cdot k}\cdot {\Sigma }_{k\cdot k}\cdot {(V_{n\cdot k})}^T③$$
下面根据该式进行推导，对于③中，等式左右两边乘以$U_{k\cdot m}$，得到：
$$U_{k\cdot m}\cdot M_{m\cdot n}\approx （U_{k\cdot m}\cdot U_{m\cdot k}）\cdot {\Sigma }_{k\cdot k}\cdot {(V_{n\cdot k})}^T$$
代入式①得到：
$$U_{k\cdot m}\cdot M_{m\cdot n}\approx E_{k\cdot k}\cdot {\Sigma }_{k\cdot k}\cdot {(V_{n\cdot k})}^T④$$
两边乘以$（{\Sigma }_{k\cdot k}{）}^{-1}$，得到：
$$（{\Sigma }_{k\cdot k}{）}^{-1}\cdot U_{k\cdot m}\cdot M_{m\cdot n}\approx {(V_{n\cdot k})}^T⑤$$
等式两边进行转置操作：
$$V_{n\cdot k}\approx （（{\Sigma }_{k\cdot k}{）}^{-1}\cdot U_{k\cdot m}\cdot M_{m\cdot n}{）}^T$$
对等式右边进行展开：
$$V_{n\cdot k}\approx (M_{m\cdot n}{)}^T\cdot U_{m\cdot k}\cdot (（{\Sigma }_{k\cdot k}{）}^{-1}{)}^T⑥$$

∵$（{\Sigma }_{k\cdot k}）$是对角阵，
∴$（{\Sigma }_{k\cdot k}{）}^{-1}$也是对角阵
∴$（{\Sigma }_{k\cdot k}{）}^{-1}$的转置矩阵等于$（{\Sigma }_{k\cdot k}{）}^{-1}⑦$
将⑦中关系，代入⑥，得到

$$V_{n\cdot k}\approx (M_{m\cdot n}{)}^T\cdot U_{m\cdot k}\cdot （{\Sigma }_{k\cdot k}{）}^{-1}⑧$$

对比⑧和书上的这句代码进行比较：

xformedItems = dataMat.T * U[:,:4] * Sig4.I 

我们会发现是一模一样的。
所以上述推导是这句代码的理论依据。

借助的在线公式编辑器链接为：
http://www.sciweavers.org/free-online-latex-equation-editor