AAAI 2020
论文地址 https://arxiv.org/pdf/1911.12986.pdf
源码地址 https://github.com/niansong1996/wassp (现在为空,待作者更新)
要点:整体弱监督 + 少量数据标注(主动学习active learning)
符号含义:
MR:meaning representation
Motivation
强监督:需要大量标注数据,标注困难
弱监督:搜索空间大,reward稀疏(且只有0和1两种reward),且存在 最终答案正确但是逻辑表示不正确 的问题
因此,为了弥合这一差距,文章研究了弱监督与主动学习之间的交集,这使learner可以主动选择示例并查询手动注释作为额外的监督,以改进在弱监督下训练的模型。文章研究了用于选择示例进行查询的不同的主动学习启发式方法,以及针对此类查询的各种形式的额外监督。
算法overview
名称:Weak and Active Supervision for Semantic Parsing (WASSP)
首先弱监督方法训练一个semantic parser直到收敛。然后选取一部分训练数据,主动寻求额外的标注(监督),来refine当前数据的MR候选列表。
那么,WASSP这个算法存在以下三个问题:
- WASSP相比弱监督的semantic parser,有多少提升?
- 如何挑选active learning的训练数据,来最大化提升模型准确率?
- 对于每个挑选出来的utterance,WASSP可以用什么样的extra supervision来提升模型?
文章分为了以下几个部分介绍:弱监督semantic parsing、合并weak和active的semantic parsing、数据挑选的启发式方法、额外监督的形式,以及最后的实验与实验结果。
Weakly Supervised Semantic Parsing
supervised semantic