gensim使用汇总

1. 训练word2vec

# 训练词向量
w2v_data = []
for i in train_df['string'].values:
    w2v_data.append(i.split())
    
for i in test_df['string'].values:
    w2v_data.append(i.split())

model_word2vec = gensim.models.Word2Vec(sentences=w2v_data, size=100, window=5, min_count=1, workers=8, sg=0, iter=5) # sentences是list of list数据
wv = model_word2vec.wv
vocab_list = wv.index2word

word_idx_dict = {}
for idx, word in enumerate(vocab_list):
    word_idx_dict[word] = idx + 1

vectors_arr = wv.vectors
vectors_arr = np.concatenate((np.zeros(100)[np.newaxis, :], vectors_arr), axis=0)  # 此处0位置的向量指代的是padding

f_vectors = open('./word_seg_vectors_arr.pkl', 'wb')   # 用作神经网络训练时Embedding层作为输入
pickle.dump(vectors_arr, f_vectors)
f_vectors.close()

with open(r'word2idx_vec.json', 'w') as f:  # 保存word: index的对应关系
    json.dump(word_idx_dict, f)

model_word2vec.save('word2vec.model')  # 保存模型文件

2. 使用词向量

2.1 求多个词向量的平均值

word2vec_mean =  [np.mean(model_word2vec[filter(lambda x: x in model_word2vec.wv.vocab.keys(), i.split())], axis = 0) for i in text_data] 
word2vec_mean = np.array(word2vec_mean )

  首先我们要清楚的是model_word2vec能同时对多个词求出词向量，词向量的维度是n*dim，n是词的个数，dim是词向量的维度，如model_wod2vec[‘apple’, ‘banana’]，假设词向量维度为100，则得到向量的维度为2*100。

  使用高阶函数filter(f, x)，则对单个句子来说filter(lambda x: x in model_word2vec.vocab.keys(), i.split())

  由于上述得到的是多个词的词向量，要求的是词的平均向量则np.mean(filter(lambda x: x in model_word2vec.vocab.keys(), i.split()) axis=0)

  由于输入是列表，则再增加个列表生成式即可：[np.mean(filter(lambda x: x in model_word2vec.vocab.keys(), i.split()) axis=0) for i in text_data]

  总结完以后，对每一步在大脑中进行形象化的操作。

3. 其他

3.1 查看word2vec模型的词：

model.wv.vocab

这是由于在gensim 1.0版本后用model.wv.vocab代替了model.vocab。所以如果用model.vocab就会报错：AttributeError: ‘Word2Vec’ object has no attribute ‘vocab’

3.2 unable to import ‘smart_open.gcs’, disabling that module

pip install smart_open==1.10.0