系列文章总目录:Python数据分析及可视化实例目录
1.项目背景:
接上一期:Python数据分析之文本处理词频向量转换前奏词袋word2bow
PS趁热打铁
2.分析步骤:
(1)读取词典和文档;
(2)计算tf idf 和 lsi;
(3)生成相似度矩阵;
(4)计算相似度。
参考资料:基于tfidf 以及 lsi 的文本相似度分析
3.源码:
# coding: utf-8
# In[1]:
from gensim import corpora, models, similarities
from pprint import pprint
# 读取词典和文档,计算tf idf 和 lsi 的表达方式,并生成相似度矩阵
dictionary = corpora.Dictionary.load('../../tmp/deerwester.dict')
corpus = corpora.MmCorpus('../../tmp/deerwester.mm') # 上一示例中生成的数据
tfidf_model = models.TfidfModel(corpus)
corpus_tfidf = tfidf_model[corpus] # TIDIF 逆文档频率
lsi_model = models.LsiModel(corpus_tfidf,id2word=dictionary,num_topics=2)
corpus_lsi = lsi_model[corpus_tfidf] # LSI 潜在语义索引
corpus_simi_matrix = similarities.MatrixSimilarity(corpus_lsi)
corpus_simi_matrix.save('../../tmp/deerwester.index')
similarities.MatrixSimilarity.load('../../tmp/deerwester.index') # 下次调用
# In[5]:
# 基于tfidf的文本相似度分析
index = similarities.MatrixSimilarity(corpus_tfidf)
vec_bow =[dictionary.doc2bow(text) for text in raw_data] #把用户raw_data语料转为词包
all_reult_sims = []
times_v2 = 0
###对每个用户预料与标准预料计算相似度
for i in vec_bow:
#直接使用上面得出的tf-idf 模型即可得出商品描述的tf-idf 值
sims = index[tfidf_model[i]]
sims = sorted(enumerate(sims), key=lambda item: -item[1])
result_sims = []
for i,j in sims:
result_sims.append([map_value_user[times_v2],map_value[i],j])
times_v2 += 1
all_reult_sims.append(result_sims[:20])
print(all_reult_sims) # 查看前20条显示相似文本
# In[7]:
# 基于lsi的文本相似度分析
index = similarities.MatrixSimilarity(corpus_lsi)
vec_bow =[dictionary.doc2bow(text) for text in raw_data] #把用户语料raw_data转为词包
all_reult_sims = []
times_v2 = 0
for i in vec_bow:
#直接使用上面得出的tf-idf 模型即可得出商品描述的tf-idf 值
sims = index[lsi[tfidf_model[i]]]
sims = sorted(enumerate(sims), key=lambda item: -item[1])
result_sims = []
for i,j in sims:
result_sims.append([map_value_user[times_v2],map_value[i],j])
times_v2 += 1
all_reult_sims.append(result_sims[:20])
print(all_reult_sims) # 查看前20条显示相似文本
新手可查阅历史目录:
yeayee:Python数据分析及可视化实例目录zhuanlan.zhihu.com