基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

基于意图—槽位注意机制的医疗咨询意图理解与实体抽取算法

1.概括： 首先收集医疗健康提问文本，归纳出24类医疗意图和5种槽位，构建中文医疗健康咨询数据集CMISD-UQS。

引入槽位选通机制建模意图和槽位向量之间的显示关系，设计意图-槽位注意机制层，构建意图上下文信息以意图标签向量方式嵌入到槽位的方式。

最后在公共数据集ATIS和SNIPS上与8种代表性算法进行对比试验。

2.近年的意图识别和槽位填充方法：

①将注意力机制引入对齐的RNN模型，利用注意力机制学习意图和槽位之间的关系。《Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling -2016 Liu B》

缺陷： 基于RNN模型所存取的上下文信息范围有限

②利用RNN-BiLSTM实现联合建模域检测、意图检测和槽位填充。《Multi-Domain Joint Semantic Frame Parsing using Bi-directional RNN-LSTM-2016Hakkani-Tyur D》

③融合BiLSTM、CNN、CRF框架的意图识别和槽位填充联合模型《基于 BLSTM-CNN-CRF 模型的槽填 充与意图识别-2019华冰涛》

优势与缺陷： BiLSTM在一定程度上缓解了RNN的长期依赖问题，但该模型通过分别学习再拼接的方式进行双向融合，特征提取能力偏弱。

3.预训练模型提出后的方法：

①基于Bert的意图分类和槽位填充联合模型《BERT for Joint Intent Classification and Slot Filling-2022Chen Qian》 利用Bert联合调节所有层中的上下文来预先训练模型的深度双向表示能力，增强上下文与句子间的关系，提高模型的泛化性。

②融合 BiLSTM、CRF 和 BERT 的模型来建立乘客乘坐无人驾驶公交车的转乘意图和公交车站实体之间的关系《 中文对话理解中基于预训练的意图分类和槽填充联合模型-2020 马常霞》

通过利用Bert的多头注意机制充分学习中文对话种的上下文信息进行字嵌入和意图信息捕获，进一步提高中文意图分类效果，并在一定程度上解决了中文文本与实体边界不清对槽位填充带来的困难。

上述方法的缺陷： 仅仅通过联合损失函数隐式建模来反映两者的关系，没有进一步探索两个任务之间的潜在关系。

①引入门控机制，利用意图上下文向量来构建槽位与意图之间的关系，并通过全局优化获得最高的语义框架准确率。《Slot-Gated Modeling for Joint Slot Filling and Intent Prediction-2018 Goo》

②提出基于堆栈传播框架的Stack-propagation模型，直接使用意图识别的输出作为槽位填充的输入，更好的指导槽位填充的过程，意图信息再引导槽位填充过程中的可解释性更高。

4.中文医疗文本数据集构建

从收集到的数据集中作者发现，目前的数据集只支持单一的医疗意图识别任务或医疗命名实体识别任务。作者构建的中文医疗文本数据集更好的适用于中文医疗咨询意图理解与实体抽取的联合识别任务。

数据扩充和增强

a 通过医疗网站收集与槽位相关的医疗实体，根据医疗意图设计不同的用户提问模板，随机选取符合槽位类别的医疗实体填入模板中；

b 对问句中非医疗实体的位置，10%的概率随即插入哈工大停用词表中的停用词；

c 在用户问句中的非医疗实体位置，10%的概率随机删除；

d 10%的概率对部分医疗实体进行同音词替换，增加重复字段；

5.模型架构

6.对比试验

7.结论

在JointBert的基础上，设计医疗意图与槽位注意机制模块，充分利用了意图和槽位间的关系，通过消融实验证明了设计模块的有效性。
缺陷： 意图识别准确率还不高，数据集也是影响性能的重要方面，需要进一步丰富扩充用户提问的类别进而提高数据集的均衡性，同时将数据集和算法应用于真实医疗对话系统或者问答系统。