![0ffb67efbe53c64bef98cd7729a5ceb1.png](https://i-blog.csdnimg.cn/blog_migrate/adb43cd125502a73cd125a0c16f5bad6.jpeg)
到底什么是fastText?
先说结论,fastText在不同语境中至少有两个含义:
- 在文章Bag of Tricks for Efficient Text Classification[1]中,fastText是作者提出的文本分类器的名字。与sub-word无关!也不是新的词嵌入训练模型!是word2vec中CBOW模型的简单变种。
- 作为Facebook开源包,fastText是用来训练词嵌入或句嵌入的,其不仅包括1中论文的代码实现,还包括Enriching Word Vectors with Subword Information[2]及FastText.zip: Compressing text classification models[3]两文的代码实现。
本来觉得这些含义区别不重要,直到连我自己都被弄迷糊了。在写这篇解读前,我心中的fastText一直是第三种含义:用sub-word信息加强词嵌入训练,解决OOV(Out-Of-Vocabulary)表征的方法。结果带着这个预先的理解读Bag of Tricks for Efficient Text Classification,越读越迷惑。。。
为理清思路,fastText(一)中我们就先讲讲Bag of Tricks for Efficient Text Classification中的fastText,fastText(二)则围绕Enriching Word Vectors with Subword Information。
Abstract
“本文探索了一种简单有效的文本分类基准(方法)。我们的实验表明,我们的快速文本分类器fastText在准确性方面与深度学习分类器平分秋色,其训练和评估速度(相比深度学习模型更是)要快许多个数量级。我们可以使用标准的多核CPU在不到10分钟的时间内用fastText训练超过10亿个单词,并在一分钟之内将50万个句子在31万2千个类中做分类。”
作者中又出现了托老师,不知道是不是受他影响,这篇文章在表述上也很有word2vec的味道,更不用说模型本身。fastText和word2vec的卖点都是简单高效(快)。
一句话介绍fastText
word2vec的CBOW模型中将中心词替换为类别标签就得到了fastText。
具体到一些小区别:
- CBOW中词袋的大小由window_size决定,而fastText中就是整个要分类的文本。
- CBOW实际运行中用Hierarchical softmax,fastText用softmax或Hierarchical softmax,具体试类的数量决定。
这就是一个标配版且可以实际应用的fastText了,我要再强调三点它和CBOW无区别的地方,因为在别的讲该论文的文章中看到了一些错误的理解:
- CBOW和fastText都是用平均值来预测的。(CBOW不是求和,是求平均)
- N-gram对于CBOW和fastText都是锦上添花的元素,不是标配。
- 词向量初始化都是随机的,fastText并没有在word2vec预训练词嵌入的基础上再训练。
对N-gram的理解
如果没有重新读这篇文章,我也会下意识地往character级别想,但是必须要在此强调:这篇文章和character没有任何关系!文章中的n-gram出自Character-level Convolutional Networks for Text Classification[4],是word级别的。与我在word2vec(二)中提到的phrases类似。
在此梳理几个概念:
- BOW (Bag-Of-Words):给你一个句子,统计每个词在其中出现的次数,这种表征方法就是BOW。
- CBOW(Continuous BOW):托老师在BOW前加了个C,就是因为word2vec并没有基于词频,而是连续的分布式的表征(continuous distributed representation)。
- n-gram (or word n-gram):“我写知乎”,bi-gram就是“我写”,“写知”和“知乎”。
- character-level n-gram:(中文不太好讲word和character的区别),深入到字母级别,把一个词拆成字母串。Enriching Word Vectors with Subword Information中是character-level n-gram,这里不是。
作者的实验证明,引入word n-gram可以提升一些任务的表现,原因是标配版中只用word级别求平均值完全忽略了词序,而n-gram保留了小范围的部分词序,对于文本表征是有意义的,从这个角度也可以判断此处的n-gram应当是词级别而不是character级别的。
这篇文章可以看作是word2vec的一个延伸,并不是fastText出名的原因。
“假装看过代码”
我要坦白:我确实没仔细看过fastText的源码。因此从代码角度来解释n-gram在不同fastText版本中的区别我直接引用评论keep fighting同学的内容,非常感谢!不同于word2vec,fastText源码和论文是相互匹配的,可以交叉验证我们对n-gram的理解。
![5129d5d6f07a73a20e6ee5c7411ed523.png](https://i-blog.csdnimg.cn/blog_migrate/df6da1f4c13ebe9d081a461289f3cbaf.jpeg)
创新性有限的fastText.zip
同word2vec一样,softmax给模型的计算量、内存占用都带来了很大的负担。对fastText而言,随着文本数量和词典规模增大,内存占用会极大地攀升。针对该问题,FastText.zip: Compressing text classification models[5]研究了如何在对模型效果影响不大的情况下节省内存。
按照惯例,我们还是简单翻一下abstract:
“我们考虑生成用于文本分类的紧凑架构的问题,从而使整个模型适配有限的内存。在考虑了受hashing相关文献启发的不同解决方案后,我们提出了一种基于PQ算法(Product Quantization)来存储词嵌入的方法。虽然原始技术会导致准确性下降,但我们将此方法改编为规避量化伪像。虽然原版方法会导致准确性下降,但我们将此方法改进为可以规避quantization artefacts的(我尽力了,但我真的不知道这里怎么翻译,求大神指导)。在几个基准测试上的实验结果表明,我们的方法通常仅需要比fastText少两个数量级的内存,而在准确性方面仅稍差一些。就内存使用率和准确性之间的平衡而言,它比现有技术高出许多。”
如OpenReview所说,这篇文章是用已经存在的模型压缩方法(如PQ算法、用hashing来缩小词典内存占用等),创新性有限。何况ICLR更关注DL模型而不是NLP文本分类部分,因此被拒也可以理解。
![a2b850e43e3c4751a4eda1c4a713e8b9.png](https://i-blog.csdnimg.cn/blog_migrate/bb7ecbdf94a1a65be8e7182fe428f56a.jpeg)
参考
- ^Bag of Tricks for Efficient Text Classification https://arxiv.org/pdf/1607.01759.pdf
- ^Enriching Word Vectors with Subword Information https://arxiv.org/pdf/1607.04606.pdf
- ^FastText.zip: Compressing text classification models https://arxiv.org/pdf/1612.03651.pdf
- ^Character-level Convolutional Networks for Text Classification https://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf
- ^FastText.zip: Compressing text classification models https://arxiv.org/abs/1612.03651