**
一、文本分析流程:
1.读取文档
2.对要计算的多篇文档进行分词
3.对文档进行整理成指定格式,方便后续计算
4.计算出词语的频率
5.对可选、低频词进行过滤
6.通过语料库建立词典
7.加载要对比的文档
8.将要对比的文档通过doc2bow转化为稀疏向量
9.对稀疏向量进一步处理,得到新语料库,
10.通过TF-idf模型对新语料库处理,得到tfidf
11.通过token2id得到特征数
12.计算稀疏矩阵相似度,从而建立索引
13.得到最终相似度结果
二、代码示例
from gensim import corpora,models,similarities
import jieba
from collections import defaultdict
# 1.读取文档
doc1 = "F:/result/1.txt"
doc2 = "F:/result/3.txt"
d1 = open(doc1,encoding="utf-8").read()
d2 = open(doc2,encoding="utf-8").read()
# 2.对要计算的多篇文档进行分词
data1 = jieba.cut(d1)
data2 = jieba.cut(d2)
# 3.对文档进行整理成指定格式,方便后续计算
用累加的方式遍历
data11 = ""
for item in data1:
data11+=item+" "
data22 = ""
for item in data2:
data22+=it