VSM模型

最新推荐文章于 2018-12-28 10:33:10 发布

芷听

最新推荐文章于 2018-12-28 10:33:10 发布

阅读量2.4k

点赞数

文章标签：文档 vector semantic classification 数据挖掘 include

2011-03-07 10:42:29| 分类：数据挖掘|字号订阅

http://www.vanjor.org/blog/2010/11/vector-space-model/

2010年11月09日 13:01:09 由 vanjor 发表 [137 次阅读]回复 ?

向量空间模型 (VSM：Vector Space Model) 是一个应用于资讯过滤, 资讯撷取, 索引以及评估相关性的代数模型。由Salton等人于60年代提出，并成功地应用于著名的SMART文本检索系统。

向量空间模型（VSM）概念

文件(语料)被视为索引词(关键字)形成的多次元向量空间，索引词的集合通常为文件中至少出现过一次的词组。在文本检索中，文档与查询词可以表示为以下向量空间模型^[1] :

d_j= (w_1,j,w_2,j,…,w_t,j)

q = (w_1,q,w_2,q,…,w_t,q)

搜寻时，输入的检索词q会被转换成类似于文件的向量，这个模型假设，文件和搜寻词的相关程度，可以经由比较每个文件(向量)和检索词(向量)的夹角偏差程度而得知。由此两个文档向量空间的夹角余弦为:

而对应检索词q与文档集中文档d₂的向量空间夹角余弦为 :

在坐标系中如图:

(余弦为零表示检索词向量垂直于文件向量，即没有符合，也就是说该文件不含此检索词)

VSM优势

向量空间模型相对标准布尔模型，优势在于:

VSM局限性

VSM通俗来说缺点^[2]

VSM中的关键词(Term)

向量空间模型是基于关键词标量模型的，关键词对于区分文档的作用是不同的。例如一些虚词对于区分文档的内容与查询是否相关并没有多大的意义^[3]。

对于概率模型而言，可以有完备的理论来估计每篇文档生成某个词的概率，因而其主要工作集中于如何确定较好的概率估计方法。而对于向量空间模型来说，确定关键词权重在很大程度上依赖于研究者的经验及对文档特性的分析。

目前，对关键词权重的确定方法一般都需要获取一些关于关键词的统计量，而后根据这些统计量，应用某种认为规定的计算公式来得到权重。最常用的统计量包括：

VSM指导思想

在向量空间模型下，构造关键词权重计算公式有三个基本原则：

扩展模型

基于向量空间模型上的扩展模型有

Models based on and extending the vector space model include:

参考:

关注