《 Bag of Tricks for Efficient Text Classification》
Fasttext: 对于高效率文本分类的一揽子技巧
论文背景:
- 文本分类是自然语言处理的重要任务,可以用于信息检索、网页搜索、文档分类等。
- 基于深度学习的方法可以达到非常好的效果,但是速度很慢,限制了文本分类的应用。
- 基于机器学习的线性分类器效果也很好,有用于大规模分类任务的潜力。
- 从现在词向量学习中得到的灵感,我们提出了一种新的文本分类方法Fasttext,这种方法能够快
速的训练和测试并且达到和最优结果相似的效果。
Fasttext历史意义
• 提出了一种新的文本分类方法——Fasttext,能够进行快速的文本分类,并且效果很好。
• 提出了一种新的使用子词的词向量训练方法——Fasttext,能够一定程度上解决OOV问题。
• 将Fasttext开源,使得工业界和学术界能够快速使用Fasttext。
Fasttext模型优缺点
优点:
- 速度非常快,并且效果还可以。
- 有开源实现,可以快速上手使用。
缺点:
- 模型结构简单,所以目前来说,不是最优的模型。
- 因为使用词袋思想,所以语义信息获取有限。
论文总结
关键点
• 基于深度学习的文本分类方法效果好,但是速度比较慢
• 基于线性分类器的机器学习方法效果还行,速度也比较快,但是需要做烦琐的特征工程
• Fasttext模型
创新点
• 提出了一种新的文本分类模型—Fasttext模型
• 提出了一些加快文本分类和使得文本分类效果更好的技巧——层次softmax和n-gram特征。
• 在文本分类和tag预测两个任务上得到了又快又好的结果。