fasttext 文本分类_fastText（一）：从词嵌入到句嵌入

到底什么是fastText？

先说结论，fastText在不同语境中至少有两个含义：

1. 在文章Bag of Tricks for Efficient Text Classification^[1]中，fastText是作者提出的文本分类器的名字。与sub-word无关！也不是新的词嵌入训练模型！是word2vec中CBOW模型的简单变种。
2. 作为Facebook开源包，fastText是用来训练词嵌入或句嵌入的，其不仅包括1中论文的代码实现，还包括Enriching Word Vectors with Subword Information^[2]及FastText.zip: Compressing text classification models^[3]两文的代码实现。

本来觉得这些含义区别不重要，直到连我自己都被弄迷糊了。在写这篇解读前，我心中的fastText一直是第三种含义：用sub-word信息加强词嵌入训练，解决OOV（Out-Of-Vocabulary）表征的方法。结果带着这个预先的理解读Bag of Tricks for Efficient Text Classification，越读越迷惑。。。

为理清思路，fastText（一）中我们就先讲讲Bag of Tricks for Efficient Text Classification中的fastText，fastText（二）则围绕Enriching Word Vectors with Subword Information。

---

Abstract

“本文探索了一种简单有效的文本分类基准（方法）。我们的实验表明，我们的快速文本分类器fastText在准确性方面与深度学习分类器平分秋色，其训练和评估速度（相比深度学习模型更是）要快许多个数量级。我们可以使用标准的多核CPU在不到10分钟的时间内用fastText训练超过10亿个单词，并在一分钟之内将50万个句子在31万2千个类中做分类。”

作者中又出现了托老师，不知道是不是受他影响，这篇文章在表述上也很有word2vec的味道，更不用说模型本身。fastText和word2vec的卖点都是简单高效（快）。

一句话介绍fastText

word2vec的CBOW模型中将中心词替换为类别标签就得到了fastText。

具体到一些小区别：

• CBOW中词袋的大小由window_size决定，而fastText中就是整个要分类的文本。
• CBOW实际运行中用Hierarchical softmax，fastText用softmax或Hierarchical softmax，具体试类的数量决定。

这就是一个标配版且可以实际应用的fastText了，我要再强调三点它和CBOW无区别的地方，因为在别的讲该论文的文章中看到了一些错误的理解：

• CBOW和fastText都是用平均值来预测的。（CBOW不是求和，是求平均）
• N-gram对于CBOW和fastText都是锦上添花的元素，不是标配。
• 词向量初始化都是随机的，fastText并没有在word2vec预训练词嵌入的基础上再训练。

对N-gram的理解

如果没有重新读这篇文章，我也会下意识地往character级别想，但是必须要在此强调：这篇文章和character没有任何关系！文章中的n-gram出自Character-level Convolutional Networks for Text Classification^[4]，是word级别的。与我在word2vec（二）中提到的phrases类似。

在此梳理几个概念：

• BOW (Bag-Of-Words）：给你一个句子，统计每个词在其中出现的次数，这种表征方法就是BOW。
• CBOW（Continuous BOW）：托老师在BOW前加了个C，就是因为word2vec并没有基于词频，而是连续的分布式的表征（continuous distributed representation）。
• n-gram （or word n-gram）：“我写知乎”，bi-gram就是“我写”，“写知”和“知乎”。
• character-level n-gram：（中文不太好讲word和character的区别），深入到字母级别，把一个词拆成字母串。Enriching Word Vectors with Subword Information中是character-level n-gram，这里不是。

作者的实验证明，引入word n-gram可以提升一些任务的表现，原因是标配版中只用word级别求平均值完全忽略了词序，而n-gram保留了小范围的部分词序，对于文本表征是有意义的，从这个角度也可以判断此处的n-gram应当是词级别而不是character级别的。

这篇文章可以看作是word2vec的一个延伸，并不是fastText出名的原因。

“假装看过代码”

我要坦白：我确实没仔细看过fastText的源码。因此从代码角度来解释n-gram在不同fastText版本中的区别我直接引用评论keep fighting同学的内容，非常感谢！不同于word2vec，fastText源码和论文是相互匹配的，可以交叉验证我们对n-gram的理解。

---

创新性有限的fastText.zip

同word2vec一样，softmax给模型的计算量、内存占用都带来了很大的负担。对fastText而言，随着文本数量和词典规模增大，内存占用会极大地攀升。针对该问题，FastText.zip: Compressing text classification models^[5]研究了如何在对模型效果影响不大的情况下节省内存。

按照惯例，我们还是简单翻一下abstract：

“我们考虑生成用于文本分类的紧凑架构的问题，从而使整个模型适配有限的内存。在考虑了受hashing相关文献启发的不同解决方案后，我们提出了一种基于PQ算法（Product Quantization）来存储词嵌入的方法。虽然原始技术会导致准确性下降，但我们将此方法改编为规避量化伪像。虽然原版方法会导致准确性下降，但我们将此方法改进为可以规避quantization artefacts的（我尽力了，但我真的不知道这里怎么翻译，求大神指导）。在几个基准测试上的实验结果表明，我们的方法通常仅需要比fastText少两个数量级的内存，而在准确性方面仅稍差一些。就内存使用率和准确性之间的平衡而言，它比现有技术高出许多。”

如OpenReview所说，这篇文章是用已经存在的模型压缩方法（如PQ算法、用hashing来缩小词典内存占用等），创新性有限。何况ICLR更关注DL模型而不是NLP文本分类部分，因此被拒也可以理解。

参考

1. ^Bag of Tricks for Efficient Text Classification https://arxiv.org/pdf/1607.01759.pdf
2. ^Enriching Word Vectors with Subword Information https://arxiv.org/pdf/1607.04606.pdf
3. ^FastText.zip: Compressing text classification models https://arxiv.org/pdf/1612.03651.pdf
4. ^Character-level Convolutional Networks for Text Classification https://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf
5. ^FastText.zip: Compressing text classification models https://arxiv.org/abs/1612.03651