FastText词向量表示

论文《Enriching Word Vectors with Subword Information》

介绍

FastText的作者也就是word2vec的作者，所以两者是一脉相承的。
目前的词向量模型都是把每一个单词作为单独的向量，并没有考虑词语的内部结构，那么FastText相比于word2vec的创新就是考虑了词语的形态构成，也就是加上了sub-word的信息，这样的好处在于对于词汇量很大的语言，通常有很多未登录词的这种，也可以通过sub-word去构成word进行词向量表示。

模型

关于模型就不细讲了，就是一个skipgram model with negative，和word2vec一样的，公式如下：

C_t表示上下文范围内的单词，N_t,c表示负样本，其中l表示：

s表示score function，这里用：

subword model

整篇文章最主要的