文档和词项之间的相关度计算汇总

下面针对《Spark高级数据分析》中的第六章的实验
进行原理上的分析
先来个矩阵$M_{m\cdot n}$

	word1	word2	word3
doc1
doc2
doc3
doc4
doc5

$$M_{m\cdot n}\approx U_{m\cdot k}{S}_{k\cdot k}(V^T{)}_{k\cdot n}$$
P118有一句十分关键的话：
线性代数运算告诉我们重构矩阵中的两个列的余弦相似度
正好等于$S{V}^T$的相应列的余弦相似度

这里的重构矩阵的意思就是$M_{m\cdot n}$近似后的结果（就是上面等式的右侧）。

	表达式	对应书本
特定词语-每个词语相关度	$V_{n\cdot k}{S}_{k\cdot k}(V^T{)}_{k\cdot 1}$	6.9节
特定文档-每个文档相关度	$U_{m\cdot k}{S}_{k\cdot k}{U}_{1\cdot k}$	6.10节
特定词语-每个文档相关度	$U_{m\cdot k}S{v}_t=U_{m\cdot k}{S}_{k\cdot k}(V^T{)}_{k\cdot 1}$	6.11节
特定文档-每个词语相关度	$u_d^{T}SV=U_{1\cdot k}{S}_{k\cdot k}(V^T{)}_{k\cdot n}$	6.11节
多词项查询	$U_{m\cdot k}{S}_{k\cdot k}\cdot 多词项构成的向量$	6.12节

$(V^T{)}_{k\cdot 1}$：表示从$V_{k\cdot n}$中抽取一列,即特定词语
$U_{1\cdot k}$：表示从$U_{m\cdot k}$中抽取一行,即特定文档

其中多词项查询相当于：
查询的多个关键词做成词向量，
最后计算该词向量和每个文档的相关度
也就是在模仿前面的“特定词语-每个文档相关度”，
计算的时候把特定词语对应的V中的向量替换成“多个关键词”构成的向量。