基于内容的文本相似计算步骤

基于内容的文本相似性计算步骤如下：

1.针对内容进行切词，一般只保留名词(如果是行业词汇的话那么可以不计算idf)

2.针对切词计算tf(词频)

某一个给定的词语在该文件中出现的次数(可以做归一化也可以不做归一化看需求)

 

3.针对切词计算idf(idf为逆向文件频率)[可以不计算]

某词汇的idf=总文件数目除以包含该词语之文件的数目，再将得到的商取对数

 

4.针对tf和idf计算tf-idf(如果是行业词汇的话可以考虑直接用tf做为tf-idf，计算tf-idf是为了找到文本的特征词)

tf-idf=tf*idf

 

5.词汇向量化(可以采用string to long等方式)

6.计算他们的距离(多种距离根据需要进行选择)

7.获得文本相似排序列表