论文笔记:融合语义信息与问题关键信息的多阶段注意力答案选取模型


论文题目:Progressive Semantic Segmentation(渐进式语义分割)

四个问题

  1. 要解决什么问题?

       自动问答系统可以帮助人们快速从海量文本中提取出有效信息,答案选取这关键一步对自动问答系统的性能有很大的影响。这篇文章要优化现有答案选择模型中答案关键信息捕获不准确的问题

  2. 提出了什么新的方法?

      这篇文章提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型,该方法首先利用双向LSTM模型分别对问题和候选答案进行语义表示;然后采用问题的关键信息,包括问题类型和问题中心词,利用注意力机制对候选答案集合进行信息增强,筛选Top K个候选答案;然后采用问题的语义信息,再次利用注意力机制对Top K个候选答案集合进行信息增强,筛选出最佳答案。

  3. 效果如何?
      通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合,有效提高了对候选答案关键信息的捕获能力,从而提升了答案选取系统的性能。在三个数据集上对本文所提出的模型进行验证,相较已知同类最好模型,最高性能提升达1.95%。

1.介绍

1.1答案选取模型

  第一种是传统的答案选取模型大多利用词法或句法分析以及人工构造特征的方法来选取答案,缺点是较难捕捉到问题与候选答案之间的语义关联信息。
  第二种是利用神经网络模型获取问题和候选答案的语义关联信息,并对它们之间的匹配关联程度进行评估,进而选取匹配关系最强的答案作为最佳答案。优点是引人注意力的模型,能够强化问题与候选答案之间语义关联的程度;缺点是忽略了两者之间关键信息的联系;现有的基于注意力的答案选取模型往往将问题和答案的建模放在同一阶段进行,这对从多个候选答案中选取一个最佳答案的答案选取任务来说,不容易捕捉到答案相互之间的差异。

1.2关于答案选取

  答案选取问题通常被视为分类任务和相似度计算任务两种类型的问题进行解决。

  为了有效提升答案选取的效果,大多研究学者都致力于研究问题与候选答案之间相关关系的表示,主要的研究工作可分为两个阶段:第一阶段是基于语言学知识和特征工程的答案选取方法,第二阶段是基于深度学习的答案选取方法。
  对于第一个阶段,主要是结合外部资源对问题、候选答案进行词法、句法分析进而选取答案。缺点:性能好坏对提取特征的质量、采用的外部资源有很大的依赖;需要一定的领域知识和较高的人工成本。
  对于第二个阶段,通常是利用神经网络对问题和候选答案进行语义表示,接着进行相似度计算来选取最佳答案。优点:具有

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值