Towards Multi-Intent Spoken Language Understanding via Hierarchical Attention and Optimal Transpor笔记

Towards Multi-Intent Spoken Language Understanding via Hierarchical Attention and Optimal Transport笔记

要解决的问题：
SLU(口语语言理解)包括两部分，槽填充和意图检测。槽填充可以作为序列标注任务；意图检测是为语义分类任务，用于预测用户的意图。
（1）每个意图都有其特定的范围，范围之外的语义信息可能会阻碍准确的预测，即范围障碍;
（2）只对从意向到意向的引导进行了建模，而往往忽略了从意向到意向的引导，即单向引导。
提出方法：分层注意力划分每个意图的范围，并应用最优传输实现槽和意图之间的相互引导。
多意图检测：2017年开始研究多意图自然语言理解。2019年尝试开发一个多任务框架，共同实现多意图检测和槽填充，旨在通过更准确的捕获话语中存在的意图来提高整体性能。
多意图研究面临的两个问题：
1、障碍范围：多意图口语理解具有多个意图，意图之间的联系相对较弱。话语中每个意图有其特定的范围，范围之外的语义信息可能会阻碍准确的预测。为了防止范围障碍的负面影响，尽可能准确地划分原话语中不同意图的范围是至关重要的。
2、单向指导：槽填充和意图检测是紧密联系在一起的，尽心关联和建模是有益的，以往关注的是从意图到槽的单向引导，而忽略了从槽到意图的引导。通过实现双向引导，提高性能。
对于范围障碍，分层注意旨在以无监督的方式从话语中逐层逐步发现语义层次。具体来说，计算相邻令牌之间的邻近亲和力得分，这表明将令牌合并成组的趋势。为了保持合并组在不同层之间的一致性，我们保持亲和性分数随着层的加深而增加。在训练过程中，根据亲和分数递归地合并语义和空间相似的标记。