利用paddle提供的word2vec模型进行word embedding操作

安装

需求

• paddlepaddle>=1.8.0
• paddlehub>=1.8.0
• pretrained word2vec_skipgram
  ps：在网不好的情况下，可以预先下载下来，这样安装也比较方便；

demo

• 直接读取，进行word embedding；

import paddle.fluid as fluid
import paddlehub as hub
import time

raw_data = ["驾驶违章一次扣12分用两个驾驶证处理可以吗",             "一次性扣12分的违章,能用不满十二分的驾驶证扣分吗",
            "水果放冰箱里储存好吗", "中国银行纪念币网上怎么预约",
            "电脑反应很慢怎么办", "反应速度慢,电脑总是卡是怎么回事"]
max_seq_len = 512

module = hub.Module(name="word2vec_skipgram", version='1.1.0')
inputs, outputs, program = module.context(trainable=False, max_seq_len=max_seq_len)

word_ids = inputs["text"]
embedding = outputs["emb"]

tokenizer = hub.CustomTokenizer(vocab_file=module.get_vocab_path