TF-idf算法进行文本相似度分析代码

编程：所用python的包下的gensim。
编程路径：
1.读取文档
2.对要计算的文档进行分词
3.把文档按照空格整理成一个超长的字符串
4.计算词语出现的频率
5.对频率低的词进行过滤，如果文档过小就不用选，过大的话把频率过低的词过滤后，在更快计算
6.通过语料库建立词典
7.加载要对比的文档
8.将要对比的文档通过doc2bow转化为稀疏向量
9.对稀疏向量进行处理，获得新语料库
10.将新语料库进行通过算法处理tf-idf算法
11.通过token2id得到特征数
12.稀疏矩阵相似度，从而建立索引
13.得到最终相似度结果

import jieba
from gensim import corpora
from gensim import models
from gensim import similarities
from collections import defaultdict

# 加载两个文档，这两个文档内容是不同的，我们要对比的文档在后面加载
d1 = open("D:/pyProject/novel/wudong.txt", encoding="utf-8").read()
d2 = open("D:/pyProject/novel/wanmei.txt", encoding="utf-8").read()
# 对两个文档进行切词
data1 = jieba.cut(d1)
data2 = jieba.cut(d2)
# 将文档词语变成我们需要的形式，这里的形式是按照空格分隔
data11 = ""
for i in data1:
data11 += i + " "
data22 = ""
for j in data2:
data22 += j + " "
# 这里是测试代码
'''print(data11)
print("===========")
print(data22)'''
# 将两个字符串放入list
documents = [data11, data22]
# 将list中每个字符串切分，list里套list
texts = [[word for word in docu.split(" ")] for docu in documents]
# 测试代码
'''print(texts)'''
# 进行词频统计，类似于wordcount,导包,其实这个频率统计的唯一意义是，为了在后面筛选出那些频率高的词，剔除掉频率低的词，这个词频统计与最后的稀疏矩阵的建立没有任何关系
frequency = defaultdict(int)
for t1 in texts:
for t2 in t1:
frequency[t2] += 1
# 这个循环的意思是，原本默认是0，出现了加一，再出现再加一
# frequency里面是一个元组，里面是一个字典，键值对
'''print(frequency)'''
texts = [[t2 for t2 in t1 if frequency[t2] > 500] for t1 in texts]
# 词频的作用就是把关键词频率大于某个值的词拿出来，重新放到text里，最终生成稀疏向量的是text，而不是frequency
# print(texts)
# ps:怪不得最后比较是两个文件，因为我们之前已经放进去到text列表，每个列表里有两个小列表。


dictionary = corpora.Dictionary(texts)
# text做好后生成语料库进行比较,
# dictionary.save("D:/pyProject/novel/dict.txt")
# 做好的语料库可以保存到本地，也可以不保存，这次不保存了


d3 = open("D:/pyProject/novel/doupo.txt", encoding="utf-8").read()
data3 = jieba.cut(d3)
# 加载要对比的文档并且进行分词
# 切词之后改变成我们需要的模式
data33 = ""
for t in data3:
data33+=t+" "
#print(data33)
new_doc =data33
new_vec=dictionary.doc2bow(new_doc.split())
#这个应该是语料库建立的词典，用这个词典把新文件变成稀疏向量
#print(new_vec)
#向量测试如上
corpus = [dictionary.doc2bow(text)for text in texts]
#把原来的数据也变成稀疏向量，这个向量里面是两个列表，因为有两本书
#print(corpus)
tfidf = models.TfidfModel(corpus)
#对原始文档进行模型计算，获得tifidf值
print(tfidf)
#TfidfModel(num_docs=2, num_nnz=184) 结果
featureNum=len(dictionary.token2id.keys())
#得到语料库的特征数
#计算稀疏矩阵相似度
index=similarities.SparseMatrixSimilarity(tfidf[corpus],num_features=featureNum)
sims=index[tfidf[new_vec]]
print(sims)