怎样构建中文文本标注工具?（附工具、代码、论文等资源）

最新推荐文章于 2024-09-22 18:18:31 发布

数据派THU

最新推荐文章于 2024-09-22 18:18:31 发布

阅读量2.6k

点赞数

本文链接：https://blog.csdn.net/tMb8Z9Vdm66wH68VX1/article/details/78641449

版权

本文介绍了构建中文文本标注工具的方法，包括利用主动学习算法减少人工标注的重复劳动，以及设计直观友好的前端界面提高标注效率。文中提到了开源工具如Prodigy的灵感，并探讨了在线与离线模型的协作，以及系统架构和实际应用中的挑战。

摘要由CSDN通过智能技术生成

来源：Paperweekly

本文长度为2218字，建议阅读4分钟

本文为你介绍中文文本标注工具的构建方法，并提供多个开源文本标注工具。

项目地址: https://github.com/crownpku/Chinese-Annotator

自然语言处理的大部分任务是监督学习问题。序列标注问题如中文分词、命名实体识别，分类问题如关系识别、情感分析、意图分析等，均需要标注数据进行模型训练。在深度学习大行其道的今天，基于深度学习的 NLP 模型更是数据饥渴。

最前沿的 NLP 技术往往首先针对英文语料。英文 NLP 的生态很好，针对不同有意思的问题都有不少大规模语料公开供大家研究，如斯坦福的 SQuAD 阅读理解语料。中文方面开源语料就少得多，各种英文 NLP 上的犀利模型和前沿技术都因为中文语料的匮乏很难迁移过来。

另一方面，对于一些垂直领域，如医疗、金融、法律、公安等等，专有名词和特有需求甚多，很难将比较 general 的比如在 wikipedia dump 上面训练的模型直接拿过来用。

传统人工标注数据的过程往往是繁琐和低效率的。刚标了一个“联想”是公司名，又来一个“联想集团”，再标一次又来一个“联想集团有限公司”，如此的例子令标注过程含有大量的重复劳动。另一方面也没有一个易上手的标注 UI，标注工作者往往需要直接按预先定好的格式直接在写字板之类的软件中修改原始数据，格式错误率也较高。

能不能构建一个中文文本的标注工具，需要看以下两个特点：

1. 标注过程背后含有智能算法，将人工重复劳动降到最低；

2. 标注界面显而易见地友好，让标注操作尽可能简便和符合直觉。

答案是可以的。事实上很多标注工具已经做到了这一点，最先进的如 Explosion.ai 的 Prodigy；然而开发了著名的 NLP 开源包 Spacy 的 explosion.ai 选择了将 Prodigy 闭源，而 Spacy 支持中文也仍然遥遥无期。我们希望构建一个开源的中文文本标注工具，而本文很多的技术灵感正是来自 Prodigy 文档[1]。