《Model-based Interactive Semantic Parsing: A Unified Framework and A Text-to-SQL Case Study》读后感

目录

一、摘要&总结&未来工作

1 摘要

• 设计一个基于模型的智能代理-- decides whether and where human intervention is needed
• 预测语义解析，确定是否需要人工干预以及在何处需要人工干预，并以自然语言生成一个澄清问题。
• 代理的关键部分是一个世界模型：它接受一个感知（一个初始问题或来自用户的后续反馈）并过渡到一个新状态
• 文本到SQL数据集（WikiSQL和Spider）
• 与现有的将基本解析器视为黑匣子的交互式语义解析方法相比，我们的方法征求的用户反馈较少，但运行时准确性更高。

2 总结和未来工作

• 提出了一个新的统一框架，名为MISP
• 组件可以灵活提高性能：
  • the error detector——通过概率校准增强MISP-SQL中基于概率的错误检测器（有助于使模型置信度与其可靠性保持一致
    ）
  • 可以使用基于学习的方法，例如强化决策政策
• 终身学习的语义解析——从用户获得反馈！——从逐次更新转为批量更新
  未来工作：
• free-form text as user feedback
• strengthening the world model
• training the agent

二、Introduction

• 允许用户无需编程即可查询数据和调用服务的自然语言接口已被确定为语义解析的关键应用程序

  • 挑战：
    • （1）话语不清楚
    • （2）现有的精度不足
    • （3） they are often bound to a certain type of formal language or dataset 难以推广
  • 目前应对：
    • 检测生成的SQL查询中的错误并通过对话请求用户选择其他选项
    • 在生成If-Then程序时询问用户澄清问题
    • 用户本身更倾向于有交互的系统
    • to develop a general principle for building interactive semantic parsing systems

• MISP:

  • 通过error detector决定是否询问用户
  • 通过world model 不断迭代解析后的语句，最后达到稳定状态（世界模型（Ha和Schmidhuber，2018）（因此基于模型），该模型合并了来自环境的用户反馈并过渡到新的代理状态（例如，更新的语义解析）。重复此过程，直到达到终端状态。）
  • 整个问题从概念上讲减少到构建三个关键组件（即，世界模型，错误检测器和执行器）——提出了这个相对简化的框架，但是也因此生成了butch批量迭代和系统不稳定问题！