高效的文本分类

相关介绍

文本分类任务是自然语言处理中重要的任务之一，近来，神经网络的使用变得更为普遍，神经网络在文本分类任务中表现更好，但是在训练和测试时间比较慢，限制了在大型语料库中的使用。
与此同时，线性分类器在文本分类器中被认为是一种很好的baseline，尽管他们很简单，但当正确的特征被使用时，经常能够得到很好的表现[1.wang and Manning,2012]。线性模型也适用于非常大的语料库。因此，当这些baseline的方法应用到大语料库中时，提出了一个基于rank constraint的线性模型，该线性模型有着简答的损失函数，能够在十亿大小的语料库中，十分钟内训练完成。并且能够得到很好的表现。该模型为fastText。

模型结构

通常在文本分类中使用BOW训练向量，并用来表示sequence，并使用SVM或逻辑回归等分类器进行分类，然而线性分类器在特征和类别之间并不分享参数，这可能限制了在大型语料库中当某些类别具有很少的实例时的泛化能力。通常的解决方法是将线性分类器分解成低阶矩阵，或者使用多重的神经网络。
当采用rank constraint时，具体如下图所示：

该模型与cbow模型比较类似，只是预测中间的词改为预测目标词，具体目标函数如下所示：

其中A是lookup table。B为权值矩阵，f为softmax函数，另外，模型中使用a bag of n-gram作为额外的特征，并使用hashing trick维护一个快速并内存有效的映射。

实验验证

情绪分析

Tag Predict

参考论文：
Bag of Tricks for Efficient Text classification

1.Feature hashing for large scale multitask learning.