python 文本相似度分析doc2bow

最新推荐文章于 2022-11-21 10:45:34 发布

wx_411180165

最新推荐文章于 2022-11-21 10:45:34 发布

阅读量3k

点赞数 3

分类专栏： Python

本文链接：https://blog.csdn.net/qq_24726509/article/details/83688315

版权

本文档详细介绍了使用Python进行文本相似度分析的步骤，包括读取文档、分词、过滤词语、建立词典、doc2bow转换、T-IDF模型应用以及计算稀疏矩阵相似度，以获取最终的文本相似度结果。

摘要由CSDN通过智能技术生成

步骤:
1、读取文档
2、对要计算的多篇文档进行分词
3、对文档进行整理成指定的格式,方便后续进行计算
4、计算出词语进行过滤
5、可选，对频率低的词语进行过滤
6、通过语料库建立词典
7、加载要对比的文档
8、将要对比的文档通过doc2bow转换为稀疏向量
9、对稀疏向量进行进一步处理，得到新语料库
10、通过T-IDFmodel将新语料库进行处理,得到TF-IDF值
11、通过token2id得到特征数
12、稀疏矩阵的相似度，从而建立索引，得到最终相似度结果

from gensim import corpora,similarities,models
import jieba
from collections import defaultdict
'''
1、读取文档
2、对要计算的多篇文档进行分词
3、对文档进行整理成指定的格式,方便后续进行计算
4、计算出词语进行过滤
5、可选，对频率低的词语进行过滤
6、通过语料库建立词典
7、加载要对比的文档
8、将要对比的文档通过doc2bow转换为稀疏向量
9、对稀疏向量进行进一步处理，得到新语料库
10、通过T-IDFmodel将新语料库进行处理,得到TF-IDF值
11、通过token2id得到特征数
12、稀疏矩阵的相似度，从而建立索引，得到最终相似度结果
'''
#读取文档
dic1=open('/root/python_test/mining/text1.txt').read()
#分词
cut1=jieba.cut(dic1)
#组合成相应的格式
documents=''
for cut_line in cut1:
    documents+=cut_line+' '
cur1=[[line for line in document.split()] for