word2vec (四) 动手训练一个词向量空间

最新推荐文章于 2024-08-21 11:18:36 发布

thriving_fcl

最新推荐文章于 2024-08-21 11:18:36 发布

阅读量1.4w

点赞数 4

分类专栏：机器学习自然语言处理

本文链接：https://blog.csdn.net/thriving_fcl/article/details/51406780

版权

本文介绍如何使用gensim库训练word2vec模型。首先，语料需要转化为可迭代的句子列表，对于大规模语料，可以实现一次加载一个句子。接着展示训练过程，调整关键参数如词向量维度、学习率、窗口大小等。训练完成后，模型可保存以供后续使用。通过示例展示了训练结果，与特定词相关的相似词，表明模型能捕捉到词之间的语义关系。

摘要由CSDN通过智能技术生成

开源的word2vec工具已经有不少了，可以直接使用google开源的C版本，也可以用gensim版本的。这里我就用gensim的word2vec来训练一个词向量空间。

训练语料输入

gensim word2vec的API接受一系列的句子作为输入语料，其中每一个句子是一系列词构成的list。如下所示

import gensim

sentences = [['ios','android'],['apple','google','xiaomi']]

model = gensim.models.Word2Vec(sentences)

将语料都转换为一个python的list作为输入是很方便，但是如果输入的语料特别大，大到内存都装不下，就不能采用这种方式。gensim的API并不要求sentences必须是list对象，只要输入的sentences是iterable的就行，那我们只要一次载入一个句子，训练完之后再将其丢弃，内存就不会因为语料过大而不够了。我们通过下面的代码就可以生成一个iterator。事先已经将训练语料分词&#