24.深度学习之自然语言处理-fastText & GloVe

24.1 fasttext

• fasttext 是一个用于高效学习单词表示和句子分类的库
• fasttext原理
  • Fasttext的3个特点：神经网络模型架构，分层SoftMax和N-gram子词特征
  • fastText 模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率
  • 序列中的词和词组组成特征向量，特征向量通过线性变换映射到中间层，中间层再映射到标签

24.1.1 子词嵌入（fastText）

• 英语单词通常有其内部结构和形成方式。
  • 例如，可以从“dog”“dogs”和“dogcatcher”的字面上推测它们的关系。这些词都有同一个词根“dog”，但使用不同的后缀来改变词的含义。
• 而且，这个关联可以推广至其他词汇。
  • 例如，“dog”和“dogs”的关系如同“cat”和“cats”的关系，“boy”和“boyfriend”的关系如同“girl”和“girlfriend”的关系。
• 在word2vec中，并没有直接利用构词学中的信息。
  • 无论是在跳字模型还是连续词袋模型中，都将形态不同的单词用不同的向量来表示。