24.1 fasttext
- fasttext 是一个用于高效学习单词表示和句子分类的库
- fasttext原理
- Fasttext的3个特点:神经网络模型架构,分层SoftMax和N-gram子词特征
- fastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率
- 序列中的词和词组组成特征向量,特征向量通过线性变换映射到中间层,中间层再映射到标签
24.1.1 子词嵌入(fastText)
- 英语单词通常有其内部结构和形成方式。
- 例如,可以从“dog”“dogs”和“dogcatcher”的字面上推测它们的关系。这些词都有同一个词根“dog”,但使用不同的后缀来改变词的含义。
- 而且,这个关联可以推广至其他词汇。
- 例如,“dog”和“dogs”的关系如同“cat”和“cats”的关系,“boy”和“boyfriend”的关系如同“girl”和“girlfriend”的关系。
- 在word2vec中,并没有直接利用构词学中的信息。
- 无论是在跳字模型还是连续词袋模型中,都将形态不同的单词用不同的向量来表示。