NLP基础实验⑦：FastText

最新推荐文章于 2021-02-02 17:42:03 发布

NLP_victor

最新推荐文章于 2021-02-02 17:42:03 发布

阅读量388

点赞数 1

分类专栏： NLP实战文章标签： fastText

本文链接：https://blog.csdn.net/IOT_victor/article/details/90451638

版权

NLP实战专栏收录该内容

12 篇文章 3 订阅

订阅专栏

一、介绍

Word2Vec作者Mikolov在预印本（Bag of Tricks for Efficient Text Classification：https://arxiv.org/pdf/1607.01759v2.pdf）中提出了fastText文本分类方法，可以在普通CPU上快速训练，结果与深度学习训练出来的模型类似。

论文翻译：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650716942&idx=3&sn=0d48c0218131de502ac5e2ef9b700967

fastText是Facebook于2016年开源的一个词向量计算和文本分类工具，模型简单，训练速度非常快，在学术上并没有太大创新。但是它的优点也非常明显，在文本分类任务中，fastText（浅层网络）往往能取得和深度网络相媲美的精度，却在训练时间上比深度网络快许多数量级。在标准的多核CPU上，能够训练10亿词级别语料库的词向量在10分钟之内，能够分类有着30万多类别的50多万句子在1分钟之内。

fastText简而言之，就是把文档中所有词通过lookup table变成向量，取平均后直接用线性分类器得到分类结果。fastText和ACL-15上的deep averaging network [1] (DAN，如下图)非常相似，区别就是去掉了中间的隐层。两篇文章的结论也比较类似，也是指出对一些简单的分类任务，没有必要使用太复杂的网络结构就可以取得差不多的结果。

文中实验选取的都是对句子词序不是很敏感的数据集，所以得到文中的实验结果完全不奇怪。但是比如对下面的三个例子来说：

The movie is not very good , but i still like it . [2]
The movie is very good , but i still do not like it .
I do not like it , but the movie is still very good .

其中第1、3句整体极性是positive，但第2句整体极性就是negative。如果只是通过简单的取平均来作为sentence representation进行分类的话，可能就会很难学出词序对句子语义的影响。

从另一个角度来说，fastText可以看作是用window-size=1 + average pooling的CNN [3]对句子进行建模。

总结一下：对简单的任务来说，用简单的网络结构进行处理基本就够了，但是对比较复杂的任务，还是依然需要更复杂的网络结构来学习sentence representation的。

另外，fastText文中还提到的两个tricks分别是：

hierarchical softmax
- 类别数较多时，通过构建一个霍夫曼编码树来加速softmax layer的计算，和之前word2vec中的trick相同
N-gram features
- 只用unigram的话会丢掉word order信息，所以通过加入N-gram features进行补充
- 用hashing来减少N-gram的存储

参考

达观数据：fastText原理及实践：从softmax、ngram等，然后简单介绍word2vec原理，之后来讲解fastText的原理，并着手使用keras搭建一个简单的fastText分类器