分类算法（二）—— FastText（原理介绍）

 

分类算法（二）—— FastText 包括文本分类相关调用和操作

文本表示(一）—— word2vec(skip-gram CBOW) glove, transformer, BERT 

 

这里整理FastText的相关原理介绍     

参考link

简介

fasttext是facebook开源的一个词向量与文本分类工具，在2016年开源，典型应用场景是“带监督的文本分类问题”。提供简单而高效的文本分类和表征学习的方法，性能比肩深度学习而且速度更快。

fastText架构类似于word2vec的CBOW，使用词袋以及n-gram袋表征语句，还有使用子字(subword)信息，并通过隐藏表征在类别间共享信息。并且在分类层采用了一个softmax层级(利用了类别不均衡分布的优势)来加速运算过程。   

可以说，fastText利用了深度学习的原理，但是比深度学习更快。

fasttext应用的两个不同任务：

• 有效文本分类 ：有监督学习
• 学习词向量表征：无监督学习

代码

文本分类之前已经介绍过，训练模型的代码参见这里：