6.4向量空间模型，余弦相似度计算

提示：
信息检索：文档评分-词项权重计算-向量空间模型
 第四部分：向量空间模型

---

向量空间模型

关联矩阵

二值关联矩阵：词项-文档

词频矩阵：词频-文档


权重是前面的tf-idf权重：

文档表示成向量

|V|维向量空间，每一维都对应词项，文档是空间的点或向量。
维度相当大，对于互联网来说，甚至达到千万维或更高。
向量空间非常稀疏，几乎都是0.

Queries表示成向量

■关键思路1:对于查询做同样的处理，即将查询表示成同一高维空间的向量
■关键思路2:在向量空间内根据queries与文档向量间的距离来排序

向量相似度计算

欧式距离？

计算两个向量终点之间的距离：
不能采用欧氏距离，从上图分析，欧氏空间对距离十分敏感，q与d2欧氏距离很远，但它们实际分布很接近。

利用夹角代替距离

文档长度归一化

就是把文档向量，变成单位向量呗，长度就不会影响相关性比较了，上面的文档d和d‘就相等了。同一个向量表示就可以了

L₂范数：

向量除以L₂范数就是长度归一化。
文档长度差异就不会影响到相关性的比较了。

余弦相似度(query,document)

观点等价于夹角递减排序

[0,180]区间内，cosine是单调递减函数。


cos(q,d) q,d的余弦相关性等价于q,d夹角余弦值。

长度归一化后：

※余弦相似度计算举例

词项频率tf—>词项频率tf取对数—>长度归一化—>计算

文档-词项频率tf关联表如下：文档(sas,pap,wh)

把query表加入上述表之中，分别计算query和其他文档的cosine值，那么就能得出，其他文档与query的相关度