众所周知,文本分类是NLP领域中十分基础的任务,大部分文本分类模型稍加修改就可以应用到其他任务中。下面介绍几个经典的文本分类模型。
图中被引数来源google学术(2019/5/16)
1. textCNN
作为一个经典的神经网络模型,CNN具有极强的特征提取能力,而且运行速度比RNNs要快的多。当CNN在计算机视觉领域取得巨大成功之后,人们自然想到如何将CNN应用到自然语言处理任务中。然而,其关键问题便是如何选择卷积核的尺寸、如何解释卷积核在NLP任务中的意义。
textCNN[1]采用的卷积核大小为 ,其中 是词向量的维度, 作为超参数由人工选择。作者认为这样可以捕捉句子中的n-grams,即如果选择的卷积核分别为 、 、 就表示捕捉了句子中的1-gram、2-gram、3-gram。接着通过一个max-pooling层,捕捉其中最重要的特征,同时还可以解决句子长度不一的问题。
textCNN的结构
作为一个14年提出的模型,textCNN简单有效,十分强大。