文本相似度分析实例

1.读取文档
2.对计算的文档进行分词
3.对文档进行整理成指定格式，方便后续进行计算
4.计算出词语的频率
5.【可选】对频率低的词语进行过滤
6.通过语料库建立词典
7.加载要对比的文档
8.将要对比的文档通过doc3bow转换成稀疏向量
9.对稀疏向量进行进一步处理
10.将新语料库通过tfidfmodel进行处理，得到tfidf
11.通过token2得到特征数
12.计算稀疏矩阵相似度，从而建立索引
13.得到最终相似度结果

from gensim import corpora,models,similarities
import jieba
import urllib.request
d1=urllib.request.urlopen("http://127.0.0.1/ljm.html").read().decode("utf-8","ignore")
d2=urllib.request.urlopen("http://127.0.0.1/gcd.html").read().decode("utf-8","ignore")      # 1. 读取文档

data1=jieba.cut(d1)
data2=jieba.cut(d2)                                                                                                             #   2.对文档进行分词

data11=""
for item in data1:
    data11+=item+" "
data21=""
for item in data2:
    data21+=item+" "
docum