向量空间模型 java_相似度计算举例-----空间向量模型

2.1.1　相似度计算举例

下面我们考虑一个固定的查询和文档集，包含一个查询Q和三篇文档组成的文档集：

Q："gold silver truck"

D1："Shipment of gold damaged in a fire"

D2："Delivery of silver arrived in a silver truck"

D3："Shipment of gold arrived in a truck"

在这个文档集中，有三篇文档，所以d = 3。如果一个词项仅在三篇文档中的一篇中出现，那么该词项的IDF就是lg(d/dfi) =

lg(3/1) = 0.477。类似地，如果一个词项在三篇文档中的两篇中出现，那么该词项的IDF就是lg(d/dfi) =

lg(3/2) = 0.176。如果一个词项在三篇文档中都出现了，那么该词项的IDF就是lg(d/dfi) = lg(3/3) =

0。

三篇文档的每个词项的IDF值如下所示：

现在就可以构造文档向量了。因为文档集中出现了11个词项，所以我们构造一个11维的文档向量。我们可以用上文给出的按字母顺序排列的词项来构建文档向量，所以t1对应第一个词项"a"，t2对应"arrived"，依次类推。向量j中词项i的权重计算方式为idfi×tfij。文档向量如表2-1所示。

表2-1　文档向量

docid

a

arrived

damaged

delivery