在自然语言处理(NLP)领域,中文命名实体识别(NER)是识别文本中具有特定意义的实体(如人名、地名、机构名等)的重要任务。以下是一些可用的中文NER数据集,它们可以用于训练和评估NER模型:
-
文娱NER–Youku:基于Youku视频相关标题制作的NER数据集,包括娱乐明星名、影视名、音乐名等类别。训练集8001条、验证集1000条、测试集1001条。由阿里巴巴达摩院和新加坡科技设计大学联合提供。
-
电商NER–Taobao:基于淘宝电商数据制作的NER数据集,包括商品名称、商品型号、人名、地名等类别。训练集6000条、验证集998条、测试集1000条。由阿里巴巴达摩院和新加坡科技设计大学联合提供。
-
简历NER–新浪财经:基于新浪财经收集的上市公司高管简历,标注了国籍、教育背景、地名、人名、组织名、专业、民族、职称等8种实体。训练集3821条、验证集463条、测试集477条。
-
微博-NER:基于2013年11月至2014年12月期间从微博上采样的1890条信息,包括人名、地址、行政区、组织机构等类别。训练集1350条、开发集270条、测试集270条。
-
人民日报(1998/2014)-NER:由人民日报语料库生成,包含人名、地名、机构名等类别。1998版本训练数据集2W+条,开发数据集2.3k+条,测试数据集4.6k+条。
-
MSRA-NER:由Microsoft Research Asia推出,包含地名、机构名、人名等类别