轻松入门自然语言处理系列 专题4 词向量的使用及评估

前言

本文主要介绍了词向量的使用及评估，包含GloVe向量的使用、词向量可视化和使用预训练语言模型生成句子向量。

一、GloVe向量的使用

常用的词向量包括Word2Vec、GloVe等，GloVe是斯坦福大学NLP组提出的预训练词向量模型，使用简单方便，被经常用于NLP任务的初始化Embedding，官方链接https://nlp.stanford.edu/projects/glove/。使用时可以选择开源提供的词向量文件。其中gensim库提供了很多词向量的API，可以直接调用。

因为gensim库只支持word2vec格式的预训练模型格式，因此需要使用gensim库自带的API将glove模型转化为其方便加载的格式：

from gensim.scripts.glove2word2vec