大数据开发 NLP文本相似度(1)

• ：一个词在文章中出现的次数

• 也不是绝对的！出现次数最多的是“的”“是”“在”，这类最常用的词，

叫做停用词（stop words）

• 停用词对结果毫无帮助，必须过滤掉的词

• 如果某个词比较少见，但是它在这篇文章中多次出现，那

么它很可能反映了这篇文章的特性，正是我们所需要的关键词

3. 反文档频率 -IDF

• 在词频的基础上，赋予每一个词的权重，进一步体现该词的重要性，

• 最常见的词（“的”、“是”、“在”）给予最小的权重

• 较常见的词（“国内”、“中国”、“报道”）给予较小的权重

• 较少见的词（“养殖”、“维基”、“涨停”）较大权重

4.TF·IDF值越大 该词的越重要

反文档频率（IDF）= log（ 语料库文档数/包含这个关键词的文档数+1）

应用：

• 相似文章

• 使用TF-IDF算法，找出两篇文章的关键词；

• 每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合

中的词的词频；

• 生成两篇文章各自的词频向量；

• 计算两个向量的余弦相似度，值越大就表示越相似。

• 文章摘要