gensim文本相似度训练

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"

all_doc_list = []
for doc in l1:
    doc_list = [word for word in jieba.cut(doc)]
    all_doc_list.append(doc_list)

print(all_doc_list)    # [['你', '的', '名字', '是', '什么'], ['你', '今年', '几岁', '了'], ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']]
doc_test_list = [word for word in jieba.cut(a)]
print(doc_test_list)   # ['你', '今年', '多大', '了']
# 制作语料库
dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看

print("token2id", dictionary.token2id)
# token2id {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
print("dictionary", dictionary, type(dictionary))
# dictionary Dictionary(12 unique tokens: ['什么', '你', '名字', '是', '的']...) <class 'gensim.corpora.dictionary.Dictionary'>

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# corpus 是语料库的意思:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了  1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))
# corpus [[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)], [(1, 1), (5, 1), (6, 1), (7, 1)], [(1, 2), (8, 1), (9, 1), (10, 1), (11, 1)], [(1, 1), (10, 1)]] <class 'list'>

# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))
# doc_test_vec [(1, 1), (5, 1), (6, 1)] <class 'list'>

# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# lsi LsiModel(num_terms=12, num_topics=200, decay=1.0, chunksize=20000) <class 'gensim.models.lsimodel.LsiModel'>

# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# lsi[corpus] <gensim.interfaces.TransformedCorpus object at 0x000001F358EF5A20>

# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])
# lsi[doc_test_vec] [(0, 0.9910312948854693), (1, 0.06777365757875962), (2, 1.1437866478720626), (3, -0.015934342901802838)]

# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))
# index <gensim.similarities.docsim.SparseMatrixSimilarity object at 0x000001F358EF5A20> <class 'gensim.similarities.docsim.SparseMatrixSimilarity'>

# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]
print("sim", sim, type(sim))
# sim [0.29518965 0.9900962  0.46673587 0.46673578] <class 'numpy.ndarray'>


# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)
# [(1, 0.9900962), (2, 0.46673587), (3, 0.46673578), (0, 0.29518965)]

text = l1[cc[0][0]]

print(a,text)
# 你今年多大了 你今年几岁了

　　

l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]   # 训练数据
a = "你今年多大了"      # 测试数据

# 使用jieba分词处理成方便训练的数据
print(all_doc_list)    # [['你', '的', '名字', '是', '什么'], ['你', '今年', '几岁', '了'], ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']]
print(doc_test_list)   # ['你', '今年', '多大', '了']

dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋,给每个词加一个索引
print("token2id", dictionary.token2id) # token2id {'什么': 0,  '你': 1,  '名字': 2,  '是': 3,  '的': 4,  '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]   # 利用词袋生成语料库
# [[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)], [(1, 1), (5, 1), (6, 1), (7, 1)], [(1, 2), (8, 1), (9, 1), (10, 1), (11, 1)], [(1, 1), (10, 1)]]
# (0,1) 0表示的是词的索引,这里0对应的词是 '什么' ,后面的 1表示出现的次数

doc_test_vec = dictionary.doc2bow(doc_test_list)    # # 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
#  [(1, 1), (5, 1), (6, 1)]

lsi = models.LsiModel(corpus)     # # 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi[corpus]        #  语料库corpus的训练结果
# <gensim.interfaces.TransformedCorpus object at 0x000001F358EF5A20>
lsi[doc_test_vec]   # # 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
# [(0, 0.9910312948854693), (1, 0.06777365757875962), (2, 1.1437866478720626), (3, -0.015934342901802838)]

# 开始判断文本相似度
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))  # 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
sim = index[lsi[doc_test_vec]]  # [0.29518965 0.9900962  0.46673587 0.46673578]  列表中的每项依次是l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"] 每项的相似度,可以看出 "你今年几岁了"的相似度最高

 

转载于:https://www.cnblogs.com/perfey/p/10181727.html