文本意图识别方案整理

意图识别本质上是文本分类问题，从目前的对话数据来看，用户说的话一般是短文本，长度大多在几十个字内，其中关键词和短语对分类显著的作用。

目前主流的本文分类模型可以分为CNN、RNN和Bert（self-attention）三类，三者可以结合起来，同时由于短本文中关键词对分类结果作用明显，添加attention机制也是常用的trick。

1、基于CNN的意图识别

CNN的作用是用来提取文本的特征（可以看作是n-gram特征），根据特征进行分类，由于CNN提取的n-gram特征能突出关键词的作用，相比于RNN效果可能更佳。

 

论文：Convolutional Neural Networks for Sentence Classification

代码：https://github.com/NLPxiaoxu/Easy_TextCnn_Rnn/tree/master/TextCnn

2、基于RNN的意图识别

RNN网络在文本分类中，作用是用来提取句子的关键语义信息，根据提取的语义对文本进行区分。

普通的LSTM模型用于文本分类：

 

论文：Recurrent Neural Network for Text Classification with Multi-Task Learning

代码：https://github.com/NLPxiaoxu/Easy_TextCnn_Rnn/tree/master/TextRnn

带attention机制的文本分类模型：

 

论文：Hierarchical Attention Networks for Document Classification

代码：https://github.com/richliao/textClassifier

3、CNN和RNN结合

 

论文：Recurrent Convolutional Neural Networks for Text Classification

代码：GitHub - roomylee/rcnn-text-classification: Tensorflow Implementation of "Recurrent Convolutional Neural Network for Text Classification" (AAAI 2015)

4、基于Bert的意图识别

bert模型由于其体量大，参数多，对时效性要求比较高的系统友好性不够，如果采用bert模型，需要做一些知识蒸馏或者采用ALbert等。

 论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

代码：https://github.com/google-research/bert

5、业界方案整理

腾讯游戏智能客服意图识别

贝壳找房基于ALbert的意图识别

阿里小蜜意图识别

小米对话系统意图识别