词权重计算及应用

    本文讨论如何计算词（有时候称特征向量）权重和向量空间模型及其应用。本文的“文档”是指查询对象，它们可以使一条条单独的记录或者是一本书的各章，还可以是一个网页，或者xml文件等。

1 归一化

    在讨论词权重和向量空间模型前需要先了解下归一化的概念。归一化（normailization）方法有两种形式。第一种形式是把数变为（0，1）之间的小数,方便计算。第二种是把有量纲（量纲是指单位）表达式变为无量纲表达式，这样归一化后统一了单位，方便比较，而且归一化后比较的数值才有意义。

2 词权重表示TF-IDF

    词频-逆文档频率（term frequency-inverse document frequency,TF-IDF) 的概念被公认为信息检索中最重要的发明。在搜索、文献分类和其他相关领域有广泛的应用。

    在计算机中光有词是不能计算的，需要把词转换为数字，这个数字能代表该词对文档中的重要程度，这个数字就是词的权重。权重的设定必须满足下面两个条件：

1）一个词预测主题能力越强，权重就越大，反之，权重就越小。我们在网页中看到“云计算”这个词，或多或少地能了解网页的主题。我们看到“应用”一次，对主题基本上还是一无所知。因此，“云计算“的权重就应该比”应用“大。

2） 应删除词（如的等停顿词）的权重应该是零。

2.1 词频

    如果用词项t在文档d中出现的次数来表示词频，那么包含某些词多的文档应该比包含它们少的文档相关。当然，这个办法有一个明显的漏洞，就是长的文档比短的文档占便宜，因为长的文档总的来讲包含的关键词要多些。因此我们需要根据文档的长度，对关键词的次数进行归一化，也就是用关键词的次数除以文档的总字数。我们把这个商称为词的频率(term frequency，TF)。

2.2逆文档频率

    如果一个关键词只在很少的文档中出现，我们通过它就容易锁定搜索目标，它的权重也就应该大。反之如果一个词在大量文档中出现，我们看到它仍然不很清楚要找什么内容，因此它应该小。概括地讲，假定一个关键词t在Dt个文档中出现过，那么Dt越大，t的权重越小，反之亦然。在信息检索中，使用最多的权重是逆文档频率(Inversedo