【NLP】【Gensim】- 使用心得

前言

⭐️ 本文持续更新
⭐️ 本文只是用作在使用Gensim过程中的一些经验 （踩过的很多坑，记录下来以防止再踩）
⭐️ 关于Word2Vec详解部分，请参考这篇论文（非常适合小白，就是是英文版的）：6. 论文：word2vec Parameter Learning Explained

1.Word2Vec部分

1.1.模型构建过程

⭐️ 第一步：构建输入语料，输入语料必须是个二维数组，形似，以下代码片段

sentence = [["I", "like", "eat", "apple"],["I", "love", "you", "forever"]]

⭐️ 第二步：输入语料训练模型，形如以下代码片段，其中的workers 必须在安装了cython运行才有效果，具体模型参数详解，可以参考：基于 Gensim 的 Word2Vec 实践

model = Word2Vec(sentences = sentence ,workers=8, window=5, vector_size=500)

⭐️ 第三步：模型保存与载入，这里有两种保存方法，一种保存全部数据，不可以查看，可以用来进行重训练，另外一种是保存为文本格式，可以查看，但是丢失了词汇树等部分信息，不能追加训练，形如以下代码片段

# 第一种：保存全部数据
model.save("./dir/xx.m")
# 第二种：保存为文本格式
model.save_word2vec_format('./dir/xx.txt', binary = Flase)
model.save_word2vec_format('./dir/xx.bin.gz', binary = True)
# 模型载入
gensim.models.Word2Vec.load("./dir/xx.m")
gensim.models.KeyedVectors.load_word2vec_format('./dir/xx.txt', binary = Flase)
gensim.models.KeyedVectors.load_word2vec_format('./dir/xx.bin.gz', binary = True)

⭐️ 第四步：模型评估，

1.2.线上训练

⭐️ 加载模型进行线上训练(也就是加载模型追加训练)，在模型训练的时候，无法更新词表，只能在以前的词表上训练，训练形如以下代码，注意一定要写corpus_iterable = sentence 千万不要写成sentences= sentence，否则会报错！！！

model = gensim.models.Word2Vec.load(model_save_path)
model.train(corpus_iterable = sentence ,total_examples=len(context), epochs=10)

⭐️ 如果要重建词表，要使用这一函数 model.build_vocab()， 注意，使用了这一函数后，原词表会被覆盖

model.build_vocab(corpus_iterable = context, update = True)

1.3.模型应用

1. ⭐️ 获取词向量，这里一定要用model.wv["xx"]，不要用model["xx"]

model.wv["password"]

2. ⭐️ 获取最相似的词

model.wv.most_similar("username")

3. ⭐️ 获取词表，这里千万不要用model.wv.vocab[key]，已经被弃用！！！

model.wv.key_to_index

1.4.其他

1. ⭐️ 模型在训练过程中生成的.npy文件是神经网络的权重参数，可以通过numpy加载查看其各层参数

import numpy as np
wDict = np.load("../model/word2vec_15M_500_W5.m.wv.vectors.npy", encoding= "bytes")
wDict_native = np.load("../model/word2vec_15M_500_W5.m.syn1neg.npy", encoding= "bytes")

2.参考资料

📖 1：基于 Gensim 的 Word2Vec 实践
📖 2：官网示例 Word2Vec Model
📖 3：机器学习：gensim之Word2Vec 详解
📖 4. 查看npy文件中存的是什么
📖 5. word2vector的原理，结构，训练过程
📖 6. 论文：word2vec Parameter Learning Explained