一、导言
数据是人工智能的基石,更多的数据、更高的质量往往意味着更好的效果。然而大规模高质量数据的获取并非易事,通常需要花费大量的时间、精力和成本,尤其是在需要领域知识的情况下。数据标注,正日益成为人工智能发展过程中的瓶颈。鉴于此,弱监督方式开始受到人们越来越多的关注,如远程监督、规则/分类器进行启发式标注等。一般基于这种方式得到的数据准确率和覆盖率有限,需要对不同数据源进行合并来提高。对此,由斯坦福大学开发的snorkel系统,为这一场景提供了一整套解决方案,而基于snorkel metal实现的大规模多任务学习,则再次刷新了GLUE基准。本文首先会简单介绍一下snorkel系统的原理,接着将应用snorkel到法律场景的要素识别中,最后将讨论一下后续的工作方向。
二、snorkel 介绍
snorkel系统主要用于解决数据标注问题,它不需要用户去手动标注训练数据,而是采用编程的方式快速进行批量标注,在实验测试中相比7小时的纯人工打标,速度提升2.8倍,预测性能提升45.5%。
snorkel系统结构如下,主要包括数据处理(CONTEXT HIERARCHY)、数据标注 (LABELING FUNCTION INTERFACE)、生成模型(GENERATIVE MODEL)三部分:
数据处理
数据处理:用于对文本进行结构化处理,方便提取出待标注的候选集。snorkel采用spac