NLP-introduction and word vectors

最新推荐文章于 2021-01-21 23:22:13 发布

学机器学习的机械工程师

最新推荐文章于 2021-01-21 23:22:13 发布

阅读量274

点赞数

分类专栏： NLP

本文链接：https://blog.csdn.net/abc360605383/article/details/106950102

版权

5 篇文章 0 订阅

订阅专栏

Introduction

注：由于本人第一次使用博客，对公式编辑还不够好，后续会重新编写公式。

为每个选中的单词构建一个密集向量（dense vector），以便它与出现在类似上下文中的单词的向量相似。

注：词向量（word vectors）也被称为：词嵌入（word embedding）或词表示（word representations）。他是分布式的

Word2vec(Mikolov et al. 2013) 是一种学习词向量的框架，思想如下：

固定窗口，滑动窗口并计算：

Word2vec的目标函数：

对于每个位置 t = 1,...,T，固定窗口大小m，给定中心词wj:

注：log是为了方便将乘法转换为求和（优化处理）

问题：如何计算P(Wt+j | Wt ; 0)

Vw ：当 w是中心词

Uw ：当w是上下文单词

对于中心词c和上下文单词0，有上述公式：

word2vec当中包含两种算法：CBOW（根据上下文词汇的词向量来预测中心词）skip-gram（根据中心词来预测上下文单词的概率分布）
还包含两种训练方法：负采样（通过采集负样本来构造新的目标函数）分层softmax（使用不对称的树结构来高效地计算每个词出现的概率）

CBOW是根据上下文预测或生成中心词的方法。其基本思想如下：

对于输入的上下文单词生成其对应的one-hot
构建2个矩阵V和U， $V\epsilon \mathbb{R}^{n*\left | V \right |}$ ， $U\epsilon \mathbb{R}^{V*n}$ 。其中，n为构造的词嵌入空间的维度，V为输入单词矩阵。因此每个单词作为输入和输出时分别有两个向量。据此得到上下文的词嵌入向量。
对上下文向量进行平均
生成一个分值向量z
将分值向量换成概率分布y，使得输出的概率向量向真实输出的独热码靠近