文本相似性分析

文档的相似性处理中的分词是文本信息处理的基础环节，是将一个单词序列切分成一个一个单词的过程。

里面涉及到的defaultdict属于内建函数dict的一个子类，调用工厂函数提供缺失的值，作用在于，当字典里的key不存在但被查找时，返回的不是keyError而是一个默认值.，int()的默认值是0。

TF-IDF是一种统计方法，它能够用于评估一个词语对于一个文集或一个语料库中的某一份文档的重要程度。

词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。

逆文档频率(Inverse Document Frequency，IDF)是指包含词条的文档越少，IDF越大，则说明词条具有很好的类别区分能力。

TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率(TF)高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

 

举例：参考: http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

假定现在有一篇文章《中国的蜜蜂养殖》，我们想要用计算机提取它的关键词。

第一步：先统计文章中出现次数最多的词，发现它们是 "的"、"是"、"在"，而这三个词对我们想要的结果无意义，所以过滤掉它们不用。

第二步：我们发现次统计数中出现较多的词有"中国"、"蜜蜂"、"养殖"这三个词，