slot-carryover学习

Slot-Carryover是自然语言理解和对话状态跟踪的结合,关注如何将上下文中的slot传递到当前用户utterance的slot集合。该技术解决远距离context中slot的传递问题,通过构建candidate set并选择子集实现。18年的方法是基于逐个元素的判断,19年引入了pointer网络和self-attention机制,通过解码过程进行slot的判断和分类。
摘要由CSDN通过智能技术生成

算是NLU和DST的结合。因为NLU只注意ut的slot和intent,而DST关注value的追踪(一般paper中slot是已经给定)。
1)Contextual Slot Carryover for Disparate Schemas
2)Improving Long Distance Slot Carryover in Spoken Dialogue Systems
要解决的问题:context的slot带到ut的slot集合来。
方法:构建一个candidate set,从中抽取一个子集。
收获:slot-carryover是一个可以单独拿出来讨论的问题。slot在远距离context也是有可能传到现在ut的。slot之间的joint distribtion值得学习。
18年是逐个元素进行判断,输入有(history,ut)attention,intent,slot,输入concat,使用MLP网络然后一个binary分类。
19年是采用
pointer网络(候选集排成一个序列,seq2seq方式,decode过程中(h+context+intent)作为query计算encode中每一个注意力分数,得到attned_encode_output,decode方式就是普通的lstm)
self-attention,就是编码以后的slot候选之间进行自注意力,应该是关系密切+context相关的更靠近,然后(slot_i+context+intent)通过MLP网络binary分类。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值