1.背景
在NLP中,传统算法通常使用one-hot形式表示一个词,存在以下问题:
1)维度爆炸,词表通常会非常大,导致词向量维度也会非常大。
2)损失语义信息,one hot随机给每个词语进行编号映射,无法表示词语之间的关系。
所以word embeding的优势如下:
1)将词语映射成一个固定维度的向量,节省空间。
2)词向量可能会具备一定的语义信息,将相似的词语放到相近的向量空间(比如香蕉和苹果都是属于水果,苹果又会涉及到歧义问题),可以学习到词语之间的关系(比如经典的 男人-女人=国王-王后)。
本文会介绍一下Word2vec原理,这是一种常见的可以用于训练词向量的模型工具。常见的做法是,我们先用word2vec在公开数据集上预训练词向量,加载到自己的模型中,对词向量进行调整,调整成适合自己数据集的词向量。
2.训练模式
我们通常是通过将词向量用于某些任务中,用这些任务的衡量指标去衡量模型结果。
那么反过来,如果我们想要训练词向量,可以先去训练一个语言模型,然后将模型中对应的参数,作为词向量。从任务形式上看,我们是在训练语言模型,而实际上我们最终的目标是想得到词向量,我们更关心的是这个词向量合不合理。
Word2vec根据上下文之间的出现关系去训练词向量,有两种训练模式,Skip Gram和CBOW(constinuous bags of word