fasttext的简单介绍

一、前言

fasttext是Facebook AI Reserch在16年开源的一个词向量及文本分类工具。

在模型架构上跟word2vec非常相似，毕竟作者都是Tomas Mikolov。其实从另一种角度理解，fasttext算是word2vec的一种衍生模型。fasttext的两篇基础论文，更像是提出了一些技巧，来更好的训练词向量和进行分类。

关于word2vec的可以参考：对word2vec的理解

二、词向量

1、Enriching Word Vectors with Subword Information

上述论文主要介绍一种基于语言形态学进行词向量训练的方法，基本模型与word2vec一致，但是在输入层位置进行了改变，原论文表述：

大意是对于输入的上下文中的每一个词，都进行基于词的n-gram，之后将所有的n-gram和原词相加，来代表上下文信息。这种做法的好处是英文单词中，可以由前缀或者后缀等语言形态上的相似性，在词与词之间建立联系。

2、