阎华讲权限,说到判定两个角色是否相同,权限相似,想到数据挖掘的过程中,经常需要知道个体间差异的大小,评价个体的相似性和类别。如分类和聚类算法,以及广域网爬虫中判定网页相似性等问题。
为了找出相似的文章,介绍计算相似度算法中最简单的一种,需要用到TF-IDF(term frequency–inverse document frequency)算法(余弦定理)(cosine similiarity)。
下面有两个句子
句子A:我喜欢看电视,不喜欢看电影,我错了
句子B:我不喜欢看电视,也不喜欢看电影,我没错
基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。
第一步,分词。
句子A:我/喜欢/看/电视,不/喜欢/看/电影。
句子B&