口语语言理解作为任务型对话系统的核心组件,目的是从语音识别文本中获取用户的意图表示信息,并将这些信息提供给对话管理组件进行分析和决策。近年来,随着深度学习技术的引入,ASR和SLU技术得到了长足发展,精度获得显著提升[1-3]。尽管如此,当有域外语音或噪声语音输入时,ASR文本中会存在插入、删除和修改错误,降低意图识别的准确率,影响对话系统的用户体验[4-5]。比如句子“Add song too sleepy dime”的正确用户意图应该是“Add to playlist”,但这个句子被ASR误识为“I 'd song too sleepy dime”时,它的意图变成了“Search screening event”。在这个例子中,因为“Add”被误识别成“I’d”,用户意图就发生了漂移。
为了应对这类挑战,有文献提出从语音信号到意图的端到端模型,直接从语音中识别意图[6-9]。文献[10]将成熟ASR模型的声学模型部分作为预训练的语音编码器,然后联合微调该语音编码器和意图识别任务,提升了识别精度。文献[11]提出学习音素加文本的预训练语言模型,基于它的意图识别模型对转录错误的容忍度有一定提升。但上述方法都需要除文本外的资源支持,即音素和语音信号,限制了使用场景。