deep_learning 05. word2vec and fasttext

开始的话：
从基础做起，不断学习，坚持不懈，加油。
一位爱生活爱技术来自火星的程序汪

今天开始好好整理下$Neural$ $Network$ $Embedding$的相关知识。初步预计包括：$word2vec$、 $glove$、 $fasttext$、 $elmo$、 $bert$。希望能尽快整理出来。

话不多说，先开始我们今天的$word2vec$和$fasttext$

按照惯例先上图

$DNN$中的$cbow$和$skip$-$gram$

在$word2vec$之前，怎么表示词向量呢？除了$one$-$hot$之外，就已经有用神经网络$DNN$来训练词向量来处理词与词之间的关系了。一般采用的是两层神经网络：隐藏层、输出层（输入层一般不算。）

举个栗子：
以$cbow$（$Continuous$ $Bag$-$of$-$Words$）模型为例：
假设输出向量维度为5：
词表大小为10：
输入是某一个中心词（图中的$w_t$）的上下文相关的词（图中除了$w_t$以外的词，用$one$ _ $hot$编码这4个词），从输入层到隐藏层的权重为$10\ast 5$的矩阵，权重是随机初始化的。输入是$4\ast 10$的矩阵，输入层到隐藏层的权重是$10\ast 5$的矩阵。这样通过下标对应位置上的随机初始化的向量就是输入的4个词的向量，就得到了一个$4\ast 5$的矩阵。然后将这个$4\ast 5$的矩阵和输出层的神经元（权重也是随机初始化的大小为$5\ast 10$）相乘，然后经过线性变化再加和求平均，这样就得到了词汇表中所有词的$softmax$概率。我们训练的目标是期望中心词$w_t$的概率是最大的，并输出这特定的一个词$w_t$的词向量（也就是输入层到隐藏层那个权重举证对应的概率最大位置的向量。通过反向传播算法，经过反复的迭代，就可以训练得到很不错的词向量了。

结合图看看

这就是我理解的$DNN$中的词向量产生的大致过程。

$word2vec$中的$cbow$和$skip$-$gram$

这和$word2vec$中的$cbow$ 和 $skip$-$gram$模型还是有许多地方是不一样的。
区别：
第一：从隐藏层到输出层之间，替换掉了线性变换和激活的操作，而是简单的所有向量加和求平均的操作，还是以上面的例子：也就是对四个词向量加和求平均，得到一个向量来表示。
第二：从隐藏层到输出层之间，替换掉了$softmax$，取而代之的是霍夫曼树。霍夫曼树的叶子节点就是$vocab$_$size$大小的词。

根据词表中的各个单词的$count$来构建霍夫曼树。
这样就满足了高频词的路径更短，符合贪心优化的思想
另外之前的计算量为$O(D)$，现在变为了$O(lo{g}_{2}D)$

在$word2vec$中，采用的是二元逻辑回归的方法：
沿着左子树走，为负类，编码为$1$
沿着右子树走，为正类，编码为$0$
用$sigmoid$判断正类和负类：
正类：
$P(+)=\sigma (x_w^T\theta )=\frac{1}{1+e^{-x_w^T\theta }}$
负类：
$P(-)=1-P(+)$
$x_w$ 当前内部节点的词向量
$\theta$ 逻辑回归的模型参数，需要学习的

和$Logistic$ $Regression$一样：
对数似然函数$L$为：
$L(w)={\sum }_{j=2}^{l_w}((1-d_j^w)log[\sigma (x_w^T{\theta }_{j-1}^w)]+d_j^{w}log[1-\sigma (x_w^T{\theta }_{j-1}^w)])$

$l_w$ 节点总数
$d^w$ 节点的霍夫曼编码
在$word2vec$中每次仅用一个样本更新梯度，可以减少梯度计算量，因为我们要求的是$L(w)$的最大值，所以使用的是：
随机梯度上升法
$w=w+\alpha \nabla wf(w)$

具体的推导过程就不在这里详细叙述了（也不是我的强项，手动滑稽。）

$word2vec$中的$negative$ $sampling$

$word2vec$不仅使用了霍夫曼树来优化最后的输出，还用了另外一种优化方法，那就是$negative$ $sampling$（负采样）。最后并不需要构建霍夫曼树。

如何理解呢？
对于上图中的例子，中心词$w_t$，与之相关的$w_{t-2}$到$w_{t+2}$这四个词（假设称为$content(w)$）就是正例。那么负例怎么来呢？我们随机选取$N$个词作为$content(w)$的中心词，那么这$N$个就是负例了。

对数的极大似然和霍夫曼树差不多，只不过是N个负例和1个正例的计算量，而不是$l_w$总的节点数量了。

那又如何选取这$N$个词呢？
假设词表大小为$V$,我们将一条直线分为$V$份，每份的长度则为词频与总长度的比。
在$word2vec$中设置了$power=0.75$，来计算每份的长度

$len(w)=\frac{count(w{)}^{0.75}}{{\sum }_{u\in vocab}count(u{)}^{0.75}}$

train_words_pow += wv.vocab[wv.index2word[word_index]].count**power

采样的时候，我们会把这条已经分成$V$份的线，再次分成$M$份（$M>>V$ ），所以我们只需要在$M$中采样出$N$个位置就行，得到的就是我们的负例了。

部分代码片段如下：

 if model.negative:
        # use this word (label = 1) + `negative` other random words not from this sentence (label = 0)
        word_indices = [word.index]
        while len(word_indices) < model.negative + 1:
            w = model.cum_table.searchsorted(model.random.randint(model.cum_table[-1]))
            if w != word.index:
                word_indices.append(w)

着重关注：

model.random.randint(model.cum_table[-1])

而其中的$cum$_$table$

    def make_cum_table(self, wv, power=0.75, domain=2**31 - 1):
        """Create a cumulative-distribution table using stored vocabulary word counts for
        drawing random words in the negative-sampling training routines.

        To draw a word index, choose a random integer up to the maximum value in the
        table (cum_table[-1]), then finding that integer's sorted insertion point
        (as if by bisect_left or ndarray.searchsorted()). That insertion point is the
        drawn index, coming up in proportion equal to the increment at that slot.

        Called internally from 'build_vocab()'.
        """
        vocab_size = len(wv.index2word)
        self.cum_table = zeros(vocab_size, dtype=uint32)
        # compute sum of all power (Z in paper)
        train_words_pow = 0.0
        for word_index in xrange(vocab_size):
            train_words_pow += wv.vocab[wv.index2word[word_index]].count**power
        cumulative = 0.0
        for word_index in xrange(vocab_size):
            cumulative += wv.vocab[wv.index2word[word_index]].count**power
            self.cum_table[word_index] = round(cumulative / train_words_pow * domain)
        if len(self.cum_table) > 0:
            assert self.cum_table[-1] == domain

$fastText$和$cbow$

最后再来讲一下$facebook$的$fastText$。
我理解的$Fasttext$是为了做$text$ $classification$的，顺带生成了词向量。
之所以把$fastText$和$cbow$放在一起讲呢？就是因为$fasttext$和$cbow$的模型架构很相似：
都是 输入层、隐藏层、输出层（$hierarchical$ $softmax$）

不同的是：

1. $cbow$的输入是中心词的上下文$context(w)$，是经过$one$-$hot$的向量，而$fasttext$的输入是文本的分词之后的向量表示（也是简单的加和求平均），最重要的是还有字符级的$N$-$gram$的表示作为输入输入的另一部分。

   这样对于低频词更友好，可以用字符级的特征来表示一部分信息；
   另外对于$OOV$也能用字符级的特征来叠加或者表示一部分。

2. 最后的输出：$cbow$是输出中心词的概率，$fasttext$输出的是文档对应的类别的概率。

个人还是比较喜欢$facebook$的产品的，简单至上。

1. $fasttext$的前半部分就是生成向量来表征$sentence$：简单的叠加$words$-$vector$以及$n$-$gram$的$vector$，然后取平均。

2. 得到文档向量之后，就是做$softmax$ $classification$ $task$

3. 关键在$n$-$gram$特征的引入以及$h$-$softmax$.
   谢谢

更多代码请移步我的个人$github$，会不定期更新各种框架。
欢迎关注