实在智能RPA学院|包小黑如何科学地打标——弱监督系统snorkel在法律场景的应用

一、导言

数据是人工智能的基石，更多的数据、更高的质量往往意味着更好的效果。然而大规模高质量数据的获取并非易事，通常需要花费大量的时间、精力和成本，尤其是在需要领域知识的情况下。数据标注，正日益成为人工智能发展过程中的瓶颈。鉴于此，弱监督方式开始受到人们越来越多的关注，如远程监督、规则/分类器进行启发式标注等。一般基于这种方式得到的数据准确率和覆盖率有限，需要对不同数据源进行合并来提高。对此，由斯坦福大学开发的snorkel系统，为这一场景提供了一整套解决方案，而基于snorkel metal实现的大规模多任务学习，则再次刷新了GLUE基准。本文首先会简单介绍一下snorkel系统的原理，接着将应用snorkel到法律场景的要素识别中，最后将讨论一下后续的工作方向。

 

二、snorkel 介绍

snorkel系统主要用于解决数据标注问题，它不需要用户去手动标注训练数据，而是采用编程的方式快速进行批量标注，在实验测试中相比7小时的纯人工打标，速度提升2.8倍，预测性能提升45.5%。

snorkel系统结构如下，主要包括数据处理(CONTEXT HIERARCHY)、数据标注 (LABELING FUNCTION INTERFACE)、生成模型(GENERATIVE MODEL)三部分：

数据处理

数据处理：用于对文本进行结构化处理，方便提取出待标注的候选集。snorkel采用spac