Word embeddings 与相关应用

Chatopera 研发团队

于 2020-10-12 08:40:30 发布

阅读量430

点赞数

分类专栏：聊天机器人文章标签：自然语言处理人工智能机器学习自然语言理解算法

本文链接：https://blog.csdn.net/samurais/article/details/109020842

版权

聊天机器人专栏收录该内容

121 篇文章 34 订阅

订阅专栏

词向量是将文字数学化的方法。

自然语言处理中文本数值化表方法

词向量是什么，自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化，NLP中大多是将文本表示为空间向量后再进行处理。

离散表示： One-hot

比如，语料库：
John likes to watch movies. Mary likes too. John also likes to watch football games.

由语料库得到字典：

{
  "John": 1，
  "likes": 2，
  "to": 3，
  "watch": 4，
  "movies": 5，
  "also": 6，
  "football": 7，
  "game": 8，
  "Mary": 9，
  "too": 10
}

One-Hot 表示：

John:  [1，0，0，0，0，0，0，0，0，0]
Mary: [0，0，0，0，0，0，0，0，1，0]
also:  [0，0，0，0，0，1，0，0，0，0]

词典中包含10个单词，每个单词有唯一索引，值的表示在词典中的顺序和在句子中的顺序没有关联。由上可知one-hot表示当前词的索引位置为1，其他值为0，表示非常稀疏。

离散表示：Bag of Words(词袋表示)

根据one-hot的思想，文档的空间向量表示可以之间将各词的词向量表示相加。这样

John likes to watch movies. Mary likes too. -> [1，2，1，1，1，0，0，0，1，1]

John also likes to watch football games. -> [1，1，1，1，0，1，1，1，0，0]

由one-hot表示出的模型为基础，也可以根据词的权重来进行词向量的表示。
TF-IDF(Term Frequency-Inverse Document Frequency)
tf = n，n表示某词在当前文档中出现的次数。IDF权重是log(1 + N/Nt)，N指所有的文档数，Nt指含有词t的文档数。

John likes to watch movies. Mary likes too. 就可以表示为 [0.693，1.386，0.693，0.693，1.099，0，0，0，0.693，0.693]

虽然FT-IDF能够体现出各个词在文档中的重要程度（一般用于关键词提取，主题分类），但是基于one-hot的模型的基础，它是没有考虑文档中词之间的顺序问题，句子中词之间没有联系，会丢失很重要的信息。（用以上方法，I will help you 和 You will help me，两个句子的空间向量表示是相同的）

离散表示： Bi-gram和N-gram

语言模型：通常在NLP中，人们基于一定的语料库，可以利用语言模型N-Gram来预计或者评估一个句子是否合理。

N-gram是基于这样一种假设，第n个词的出现只与前面N-1个词相关，而与其它任何词都不相关. Bi-gram就是假设第n个词只与它前面的一个词有关。

和one-hot表示方法相似，这里为Bi-gram建立索引：

{
  "John likes": 1，
  "likes to": 2，
  "to watch": 3，
  "watch movies": 4，
  "Mary likes": 5，
  "likes too": 6，
  "John also": 7，
  "also likes": 8，
  "watch football": 9，
  "football games": 10
}

John likes to watch movies. Mary likes too. -> [1，1，1，1，1，1，0，0，0，0]
John also likes to watch football games. -> [0，1，1，0，0，0，1，1，1，1]

缺点: 随着字典size的增大，参数数量会非常大。
以后文本表示方法属于离散表示，即各个词之间是相互独立的，并没有表现出关联关系。另外，利用以上方法我们也无法衡量向量之间的关系.比如由"酒店"，"宾馆"的向量:

酒店 [0，1，0，0，0，0，0，0，0，0]
宾馆 [0，0，0，0，1，0，0，0，0，0]

按常识来讲，我们是认为"酒店"和"宾馆"是有相似含义的，但是由于向量表示的稀疏性我们很难捕捉到两者之间的关系。而且词表的长度会随着语料库的增长而膨胀，n-gram序列随着语料库膨胀更快，因为是组合词的词典。

分布式表示

分布式表示思想解析

如上图所示，如果我们利用离散文本表示方法对本文进行表示时，“红色的大型卡车”，“黄色的中型SUV”，"紫色的小型电动车"无法表达任何相似的信息。那么考虑用颜色，型号，车型分布式对相应文本进行表示。那么对于"红色的大型卡车"和"红色的小型电动车"的表示就会有相同部分表示，基于此我们就可以来进行文本信息处理。

共现矩阵(Cocurrence matrix)

word-word共现矩阵可以挖掘语法和语义信息.对于以下含有三句话的语料库我们进行word-word共现矩阵表示.
I like deep learning.
I like NLP.
I enjoy flying.
为了理解，这里window length设为1 (一般为5~10)
使用对称的窗函数(左右window length都为1)

word-word共现矩阵
正如上图，对于"I"，左右窗口中出现"I"的次数为0，"like"出现为2次，“enjoy"出现次数为1，“deep”，“learning”，“NLP”，“flying”，”."都为0。

以此类推，得到一个对称矩阵。这样，也同时得到了每个word的分布式表示，如’I’ [0，2，1，0，0，0，0，0]。
但由共现矩阵得到的词向量存在一下问题:

向量维数随着字典大小线性增长
存储整个字典的空间消耗会非常大
一些模型如文本分类模型会面临稀疏性问题
模型会欠稳定.

NNML(Neural Network Language Model)

词向量通过神经网络语言模型得到，一定程度上解决数据稀疏性。
NNML
如上图所示，神经网络模型包括投影层，隐藏层和输出层。假如有语料"我爱北京天安门"，经过分词得到"我" “爱” “北京” “天安门”。模型的训练过程如下:

将"我" “爱” “北京” "天安门"分别用one-hot embedding 的形式表示出来(各向量维数和字典大小相同).
“我” [1，0，0，0]
“爱” [0，1，0，0]
“北京” [0，0，1，0]
“天安门” [0，0，0，1]
“我” “爱” “北京” 三个空间向量作为输入，通过语言模型"我爱北京"之后的词，每个输入是1x4的矩阵Ai，经过投影层和200x4的矩阵Ci相乘，即Ci*Ai’，投影出200x1的向量(这也是此层叫投影层的原因) 然后对这三个向量进行拼接(concate)，得到一个800维的向量
隐藏层将一个800的向量经过激活函数tanh处理
输出层输出的是维数是4的概率向量，每一维表示字典中每个词是要预测的那个词的概率
输出层经过softmax分类函数，得到一个概率向量和已知正确的向量即"天安门" [0，0，0，1]求KL(Kullback Leibler)距离，然后利用BP(Backpropagation algorithm 反向传播算法)和SGD(Stochastic Gradient Descent 随机梯度下降)对模型进行调优。
根据训练好的模型就可以得到文本内容的词向量。
备注: 投影矩阵C和w，b 相似，模型训练时被初始化，然后经过逐渐学习和调优而确定。

word2vec CBOW(Continuous Bag-of-Words 连续词袋)

CBOW模型是利用前后的词来预测当前的词。比如"我爱中华人民共和国"，假如窗口为2，即利用"我" “爱"和"中华” "共和国"来预测"中华"这个词，此模型相对NNML计算量要小很多，该模型没有隐藏层并且直接使用低维稠密的向量来进行表示。投影层是进行了求和处理。假如我们的输入都是200维的向量，字典size大小为40000，那么输出就是一个40000维的向量，而且中间从映射层到输出层的参数w是200x40000，这是很不好处理的。所以CBOW最后一层采用了霍夫曼压缩编码(huffman tree)。输出为一个200维的向量。