记录使用gensim进行词向量增量训练（遇到的几个问题）

最新推荐文章于 2024-07-22 17:01:59 发布

昔年xiri

最新推荐文章于 2024-07-22 17:01:59 发布

阅读量4k

点赞数 2

文章标签： gensim

本文链接：https://blog.csdn.net/weixin_41144384/article/details/88845194

版权

本文记录使用gensim进行词向量增量训练时遇到的问题，包括数据格式、参数设置、加载与保存词向量等。通过理解gensim模型的训练需求，解决了加载已训练词向量作为模型的问题，以及词向量文件的编码和更新。

摘要由CSDN通过智能技术生成

一般很少用到gensim来训练词向量，但是网上关于词向量增量训练几乎都是用gensim解决的，所以记录下使用gensim进行词向量增量训练及一个问题（笔记性质，记录给自己看。。。但如果能帮到和我一样的小白那就最好不过了）
1、代码文件
论坛上可以搜到，我用的是以下这位po主的，他写的已经很清晰了：
https://blog.csdn.net/qq_43404784/article/details/83794296

2、关于gensim中word2vec的数据格式与参数
一开始不是很清楚，以为gensim和word2vec一样，训练数据的格式是分好词的文本文件一行一句话，但这样并不能输出预期的词向量。
后来查阅了官网https://radimrehurek.com/gensim/models/word2vec.html 发现训练数据需要用列表。。另外，关于Word2vec的一些训练参数，官网也有说明。
Parameters:
sentences (iterable of iterables, optional)– The sentences iterable can be simply a list of lists of tokens, but for larger corpora, consider an iterable that streams the sentences directly from disk/network. See BrownCorpus, Text8Corpus or LineSentence in word2vec module for such examples. See also the tutorial on data streaming in Python. If y