TF-IDF算法

         阎华讲权限，说到判定两个角色是否相同，权限相似，想到数据挖掘的过程中，经常需要知道个体间差异的大小，评价个体的相似性和类别。如分类和聚类算法，以及广域网爬虫中判定网页相似性等问题。

        为了找出相似的文章，介绍计算相似度算法中最简单的一种，需要用到TF-IDF(term frequency–inverse document frequency)算法（余弦定理）（cosine similiarity）。

下面有两个句子

　　句子A：我喜欢看电视，不喜欢看电影，我错了

　　句子B：我不喜欢看电视，也不喜欢看电影，我没错

基本思路是：如果这两句话的用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。

第一步，分词。

　　句子A：我/喜欢/看/电视，不/喜欢/看/电影。

　　句子B&