简易英文问答系统(glove2word2vec)

最新推荐文章于 2023-10-25 00:33:34 发布

赤醒醒

最新推荐文章于 2023-10-25 00:33:34 发布

阅读量988

点赞数

分类专栏：笔记文章标签：自然语言处理

本文链接：https://blog.csdn.net/wawjb/article/details/105910035

版权

该博客介绍了如何利用gensim模块的glove2word2vec工具，将GloVe词向量转换为Word2Vec格式，并保存以备后用。文章提到了转换过程简化了直接处理glove.6B文件的复杂性，但依然需要对glove.6B.100d.txt文件进行归一化操作。

摘要由CSDN通过智能技术生成

利用gensim模块中的glove2word2vec来将glove词向量转化成另一个文件里的glove2word2vec向量，方便以后备用

from gensim.test.utils import datapath,get_tmpfile
from gensim.scripts.glove2word2vec import glove2word2vec
glove_file = datapath(r'F:\data set\NLP\glove.6B.100d.txt')
glove2word2vec_file = get_tmpfile(r'F:\data set\NLP\glove2word2vec.6B.100d.txt')
transformer = glove2word2vec(glove_file,glove2word2vec_file)
#调用
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format(r'F:\data set\NLP\glove2word2vec.6B.100d.txt')#可以利用KeyedVectors进行词向量的读取

调用结果存放在model中: 在这里插入图片描述
调用model内的变量：

model.index2word
['the', ',', '.', 'of', 'to', 'and', 'in', 'a', '"', "'s", 'for', '-', 'that', 'on', 'is', 'was', 'said', 'with', 'he', 'as', 'it', 'by', 'at', '(', ')', 'from', 'his', "''", '``', 'an', 'be', 'has', 'are', 'have', 'but', 'were', 'not', 'this', 'who', 'they', 'had', 'i', 'which', 'will', 'their', ':', 'or', 'its', 'one', 'after', 'new', 'been', 'also', 'we', 'would', 'two', 'more', "'", 'first', 'about', 'up', 'when', 'year', 'there', 'all', '--', 'out', 'she', 'other', 'people', "n't",