Chinese Treebank系列数据集划分，以及ctb转换成斯坦福标准数据集的完整代码

已于 2023-03-04 21:20:57 修改
阅读量821 收藏 3
点赞数 1
分类专栏： nlp数据集 python 深度学习 文章标签： python nlp big data
于 2023-02-18 20:12:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43737862/article/details/129103699
版权
文章介绍了如何按照不同的规则对CTB系列数据集（如CTB5、CTB7、CTB8、CTB9）进行训练集、验证集和测试集的划分，特别是何晗提出的CTB8&CTB9的拆分方案，旨在解决样本遗漏、不均衡和复杂性问题。HanLP提供的工具make_ctb用于制作NLP任务的标准数据集，包括词性标注和依存解析等任务。建议在Linux环境下运行此代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ctb系列数据集划分训练集、验证集、测试集

文章目录

ctb5

  • Kruengkrai, Canasai, Kiyotaka Uchimoto, Jun’ichi Kazama, Yiou Wang, Kentaro Torisawa和Hitoshi Isahara. 《An Error-Driven Word-Character Hybrid Model for Joint Chinese Word Segmentation and POS Tagging》. 收入 Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, 513–21. Suntec, Singapore: Association for Computational Linguistics, 2009. https://aclanthology.org/P09-1058.
  • 在这里插入图片描述

CTB7

  • Wang, Yiou, Jun Kazama, Yoshimasa Tsuruoka, Wenliang Chen, Yujie Zhang和Kentaro Torisawa. 《Improving Chinese Word Segmentation and POS Tagging with Semi-supervised Methods Using Large Auto-Analyzed Data》, 2011.

  • ctb7

  • ctb7

  • ctb7

ctb8 & ctb9

  • Shao, Yan, Christian Hardmeier, Jörg Tiedemann和Joakim Nivre. 《Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF》. 收入 Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 173–83. Taipei, Taiwan: Asian Federation of Natural Language Processing, 2017. https://aclanthology.org/I17-1018.
  • ctb9

CTB8 & CTB9 (何晗大佬倡导)

  • https://bbs.hankcs.com/t/topic/3024

  • 每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集

  • ctb9的拆分在学术界已有定论，根据IJCNLP 2017上Shao et. al的论文，ctb9拆分遗漏了51个文件，亦即4000-4050这个区间。而且该拆分在各个领域（genre）上的分布比较不均匀。ctb9一共8个领域，分别为：

    • nw 新闻
    • mz 杂志
    • bn 广播新闻
    • bc 广播访谈
    • wb 博客
    • df 论坛
    • sc 短信
    • cs 聊天

  • 在这些领域上，学术界拆分导致的文件数统计如下：

    • Shao et. al (2017) 拆分统计

    • genretraindevtest
      nw604(79.47%)25(3.29%)131(17.24%)
      mz117(90.00%)0(0.00%)13(10.00%)
      bn965(79.95%)122(10.11%)120(9.94%)
      bc69(80.23%)9(10.47%)8(9.30%)
      wb171(79.91%)22(10.28%)21(9.81%)
      df447(79.96%)46(8.23%)66(11.81%)
      sc561(80.03%)70(9.99%)70(9.99%)
      cs14(77.78%)1(5.56%)3(16.67%)

  • 考虑到上述样本遗漏、样本不均衡以及拆分规则复杂的问题，HanLP提出如下拆分，推荐给工业界和开源界人士：

    • 每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集。

    • 这个简单直白的划分不仅操作简单，而且能够保证各个领域的均衡比例。该划分的统计信息如下

  • genretraindevtest
    nw655(80.76%)78(9.62%)78(9.62%)
    mz105(80.77%)13(10.00%)12(9.23%)
    bn967(80.12%)120(9.94%)120(9.94%)
    bc70(81.40%)8(9.30%)8(9.30%)
    wb170(79.44%)22(10.28%)22(10.28%)
    df448(80.14%)56(10.02%)55(9.84%)
    sc561(80.03%)70(9.99%)70(9.99%)
    cs16(88.89%)1(5.56%)1(5.56%)

划分代码

  • 安装必要的运行库

    • pip install hanlp

  • 定义数据集的train、dev、test

    • CTB9_ACADEMIA_SPLITS = {
    'train': '''
0044-0143, 0170-0270, 0400-0899,
1001-1017, 1019, 1021-1035, 1037-
1043, 1045-1059, 1062-1071, 1073-
1117, 1120-1131, 1133-1140, 1143-
1147, 1149-1151, 2000-2915, 4051-
4099, 4112-4180, 4198-4368, 5000-
5446, 6000-6560, 7000-7013
    ''',
    'dev': '''
0301-0326, 2916-3030, 4100-4106,
4181-4189, 4369-4390, 5447-5492,
6561-6630, 7013-7014
    ''',
    'test': '''
0001-0043, 0144-0169, 0271-0301,
0900-0931, 1018, 1020, 1036, 1044,
1060, 1061, 1072, 1118, 1119, 1132,
1141, 1142, 1148, 3031-3145, 4107-
4111, 4190-4197, 4391-4411, 5493-
5558, 6631-6700, 7015-7017
    '''
}

  • 分割，将字符串转换为list表

    • def _make_splits(splits: Dict[str, str]):
    total = set()
    for part, text in list(splits.items()):
        if not isinstance(text, str):
            continue
        lines = text.replace('\n', '').split()
        cids = set()
        for line in lines:
            for each in line.split(','):
                each = each.strip()
                if not each:
                    continue
                if '-' in each:
                    start, end = each.split('-')
                    start, end = map(lambda x: int(x), [start, end])
                    cids.update(range(start, end + 1))
                    # cids.update(map(lambda x: f'{x:04d}', range(start, end)))
                else:
                    cids.add(int(each))
        cids = set(f'{x:04d}' for x in cids)
        assert len(cids & total) == 0, f'Overlap found in {part}'
        splits[part] = cids

    return splits
# 
ctb9_splits = _make_splits(CTB9_ACADEMIA_SPLITS)

  • 使用hanlp的方法make_ctb，制作nlp四个任务(cws,dep,par,pos)的标准数据集

    • from hanlp.datasets.parsing.loaders._ctb_utils import make_ctb
make_ctb(ctb_home='./data/ctb9.0/data',splits=ctb9_splits)

    • ctb_home：ctb系列原始数据下的data目录地址

    • splits[option]：上一步制定的划分规则，默认每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集的规则划分

  • 完整代码

    '''
coding:utf-8
@Software:PyCharm
@Time:2023/2/8 10:17
@Author:curious
 See Shao et al., 2017, 采用学术界认可的ctb9拆分方案
'''
from typing import Dict
from hanlp.datasets.parsing.loaders._ctb_utils import make_ctb
CTB9_ACADEMIA_SPLITS = {
    'train': '''
0044-0143, 0170-0270, 0400-0899,
1001-1017, 1019, 1021-1035, 1037-
1043, 1045-1059, 1062-1071, 1073-
1117, 1120-1131, 1133-1140, 1143-
1147, 1149-1151, 2000-2915, 4051-
4099, 4112-4180, 4198-4368, 5000-
5446, 6000-6560, 7000-7013
    ''',
    'dev': '''
0301-0326, 2916-3030, 4100-4106,
4181-4189, 4369-4390, 5447-5492,
6561-6630, 7013-7014
    ''',
    'test': '''
0001-0043, 0144-0169, 0271-0301,
0900-0931, 1018, 1020, 1036, 1044,
1060, 1061, 1072, 1118, 1119, 1132,
1141, 1142, 1148, 3031-3145, 4107-
4111, 4190-4197, 4391-4411, 5493-
5558, 6631-6700, 7015-7017
    '''
}
def _make_splits(splits: Dict[str, str]):
    total = set()
    for part, text in list(splits.items()):
        if not isinstance(text, str):
            continue
        lines = text.replace('\n', '').split()
        cids = set()
        for line in lines:
            for each in line.split(','):
                each = each.strip()
                if not each:
                    continue
                if '-' in each:
                    start, end = each.split('-')
                    start, end = map(lambda x: int(x), [start, end])
                    cids.update(range(start, end + 1))
                    # cids.update(map(lambda x: f'{x:04d}', range(start, end)))
                else:
                    cids.add(int(each))
        cids = set(f'{x:04d}' for x in cids)
        assert len(cids & total) == 0, f'Overlap found in {part}'
        splits[part] = cids

    return splits


ctb9_splits = _make_splits(CTB9_ACADEMIA_SPLITS)
make_ctb(ctb_home='./data/ctb9.0/data',splits=ctb9_splits)

注意

  • windows下运行make_ctb可能会出问题，建议在Linux下运行
  • 需要划分好的数据集的，私聊我
NLP模型笔记2022-11：CTB5和CTB8数据集预处理 【PennTreebank 和Chinese Treebank】
源代码杀手的博客
06-01 1153
ctb5和ctb8数据集下载地址: ctb5:https://download.csdn.net/download/weixin_41194129/85448924?spm=1001.2014.3001.5503 ctb8:https://download.csdn.net/download/weixin_41194129/85337314?spm=1001.2014.3001.5503NLP模型实践文章：一种联合中文分词和依存分析的统一模型训练CTB5数据集【论文复现+源码+数据集下载】 CTB 有点乱，
Chinese Treebank简单介绍
qq_45385038的博客
12-14 1637
CTB中汉语词性划分规则： 汉语被划分为33类 4类动词和谓语性形容词（Verb, adjective） – VC: Copula 系动词 – VE: main verb – VV: Other verb（其他动词） – VA: Predicative adjective（表语形容词） 3类名词 – NR（专有名词） – NT（时间名词） – NN（其他名词） 1类处所词 – LC（处所词），方位：前后里外左右上下 1类代词 – PN（代词） 3类限定词和数词 – DT: Determiner（限定词），
Chinese Treebank 7.0数据集介绍，官网编号LDC2010T07
ldcdata的博客
05-21 340
CTB 7.0数据集包含了大量的中文句子，并且每个句子都经过了详细的句法标注。这些标注包括句法结构、词性、短语边界等信息，有助于研究人员更深入地理解中文句子的语法和语义结构。Chinese Treebank 7.0（简称CTB 7.0）是一个针对中文语言的句法标注语料库，它始于1998年，旨在建立一个具有句法标记的中文句法语料库，以便用于自然语言处理（NLP）和计算语言学的研究。在NLP领域，CTB 7.0数据集被广泛用于句法分析、语义角色标注、依存句法分析等任务的研究和实验。
Penn Tree Bank (PTB)数据集
03-26
积分已重新设置。 -------------------- 数据集已经预处理并含有整体10000个不同的词，包括结束句子的标记和用于罕见词语的特殊符号（\ <UNK>）。数据量小，适用于RNN的训练。积分莫名增加了，无积分可以私信我。
Treebank-3数据集
z_shouwangzhe的博客
05-10 556
Treebank-3数据集是一个比较不错的数据集，其官网编号为LDC99T42，该数据集经过了更新，补充了一些Treebank-2的内容，其截图如下： 官网正式介绍如下： Item Name: Treebank-3 Author(s): Mitchell P. Marcus, Beatrice Santorini, Mary Ann Marcinkiewicz, Ann Taylor LDC Catalog No.: LDC99T42 ISBN: 1-58563-
Treebank3数据集介绍，编号LDC99T42
ldcdata的博客
10-12 132
它包含了大量的句子，并为每个句子提供了详细的句法结构信息，这些信息以树形结构表示。这种树形结构有助于揭示句子中各个成分之间的关系，如主语、谓语、宾语等，从而有助于理解句子的含义。这个数据集由米切尔·P·马库斯、比阿特丽斯·圣托里尼、玛丽·安·马尔辛凯维奇和安·泰勒等人创建，并于1999年由语言数据联盟（LDC）发布。与Treebank 2相比，Treebank 3进行了更新和扩展，补充了一些新的内容。这使得Treebank 3成为一个更加全面和丰富的数据集，适用于各种NLP任务的研究和开发。
TextParser项目借助斯坦福NLP工具实现中文文本解析
- ctb.prop：可能是一个配置文件，用于设置CTB（Chinese Treebank）分词器的相关参数。 - norm.simp.utf8：可能是一个标准化后的中文语料库，用于提供给分词器和词性标注器等后续处理。 6. Java开发环境配置： -...
stanford-postagger-full词性标注
huangyinge的专栏
02-24 7806
1 models介绍 该版本的词性标注工具中有一个models文件夹，该文件夹下有两种类型的文件：.tagger类型和. props类型。其中.tagger类型的文件是词性标注训练出来的模型文件，. props类型是其对应的properties文件。models文件夹下所有的文件如下图： 下面分别介绍该文件夹下主要的几个模型。 1.1  arabic.tagger Trainedon
中文 NLP 工具总结
KnightTen的博客
04-09 1万+
中文 NLP 工具总结 前言： 最近由于实验室研究需要，需要调研一下目前已有的中文 NLP 工具，于是在调研完了之后就写了这篇总结，如果哪里有错误还请指出。 1. Jieba 分词 1.1 简介 官网介绍：“结巴”中文分词：做最好的 Python 中文分词组件 但是不是最好的呢？详情见最后的横向对比。 GitHub地址：https://github.com/fxsjy/jieba 1.2 模型原理...
中文分词工具比较
热门推荐
zlhcsm的博客
02-09 1万+
在本篇文章中，将介绍9个常用的分词工具及其对比。 jieba、SnowNLP、北京大学PKUseg、清华大学THULAC、HanLP、FoolNLTK、哈工大LTP、CoreNLP、BaiduLac。 * 部分分词中有可参考的论文。如北大、清华，可引用 文章目录简介1 jieba2 SnowNLP3 北京大学PKUse4 清华大学THULAC5 HanLP6 FoolNLTK比较相关文章参考文献 ...
Stanford Sentiment Treebank 标准情感数据集.torrent
06-20
Stanford Sentiment Treebank 是一个标准情感数据集，主要用于情感分类，其中每个句子分析树的节点均有细粒度的情感注解。 该数据集由斯坦福大学的 NLP 组发布，其中句子和短语共计 239232 条，相较于忽略单词顺序的大多数情绪预测系统，这套深度学习模型建立了基于句子 结构 的完整表示。它可根据单词组成的短语判断情绪。 该数据集由斯坦福大学 自然语言处理 组于 2013 年发布，相关论文有《Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank》。
CTB 论坛 数据库结构分析
02-26
CTB 论坛 数据库结构分析
汉语分词语料库
05-23
CTB6汉语分词语料库，可以拿来做分词任务。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
PTB数据集和baseline
03-01
Penn Tree Bank (PTB) dataset， is widely used in machine learning of NLP (Natural Language Processing) research.
中文分词库盘点 Python windows
一个学长的博客
03-27 1583
对目前现有的了解到的中文分词库进行了一些总结，附上了每一个库的官方文档链接和分词代码，希望能帮到各位老师同学。jieba，Hanlp，SnowNLP，thulac，LTP，FoolNLTK，pkuseg，CoreNLP，FastText
Treebank-2数据集介绍，官网编号LDC95T7
ldcdata的博客
05-13 327
Treebank2数据集是一个用于句法分析和自然语言处理研究的大型语料库。它包含了大量经过精心标注的文本数据，这些数据被用来训练和开发句法分析器以及其他自然语言处理系统。
Dataset之PTB：Penn Treebank Dataset（PTB 数据集）的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-22 1万+
​ Dataset之PTB：Penn Treebank Dataset（PTB 数据集）的简介、安装、使用方法之详细攻略 目录 PTB 数据集的简介 PTB 数据集的安装 PTB 数据集的使用方法 PTB 数据集的简介 Penn Treebank Dataset 数据集是一个用于自然语言处理（NLP）和计算语言学研究的标准数据集。它包含来自多种来源的文本，如新闻、书籍和文章。PTB 数据集通常用于语言模型、词性标注、句法分析等任务的训练和评估。 官方地址：BOLT Treebank |
Chinese Treebank 8.0 （LDC2013T21）资源介绍和下载地址
最新发布
网易搬砖头
04-02 441
Chinese Treebank 8.0 ，语言数据联盟 (LDC) 目录号 LDC2013T21，ISBN 1-58563-661-4，包含约 150 万个带注释和解析的词，这些词来自中文通讯社、政府文件、杂志文章、各种广播新闻和广播对话节目、网络新闻组和网络日志。数据 此版本中有 3,007 个文本文件，包含 71,369 个句子、1,620,561 个词、2,589,848 个字符（汉字或外文）。数据以四种不同的格式提供：原始文本、分词、分词和带词性标记以及句法括号格式。
Penn Chinese Treebank （CTB）论文笔记-成分句法分析的标注体系
qq_40332976的博客
09-16 1436
Penn Chinese Treebank 标注体系 1. 分词（word segmentation） 由于本文的目标是为句子建立句法结构，因此在分词阶段本文采用了句法词（句法原子）的概念。涉及构词法和词法分析。 2. 词性标注（POS tagging） 由于汉语词汇没有时态、格数标记，词性标注的核心问题是词性标注的定义是基于语义还是基于句法分布。这个问题从20世纪50年代就开始争论了(Gong 1997)，存在有两种相反的观点。 例如，“毁灭”翻译成英文：destroy/destroys/destroye
自然语言处理数据集国内
02-28
### 国内自然语言处理数据集下载网站资源 对于国内自然语言处理(NLP)的数据集获取，存在多个平台提供丰富的资源支持研究和开发工作。下面列举了一些知名的NLP数据集下载站点： #### 1. 清华大学开源中文语料库 清华大学提供了多种类型的高质量中文语料库，涵盖了新闻、百科、对话等多个领域的内容[^1]。 #### 2. 中文通用依存句法树库 (CTB) 该数据库由宾夕法尼亚大学与中国科学院计算技术研究所合作创建，包含了大量经过人工标注的汉语句子结构信息，适用于语法分析等方面的研究。 #### 3. 哈工大社会计算研究中心 哈尔滨工业大学的社会计算与信息检索研究中心维护着一系列面向不同应用场景的任务型对话系统所需的知识图谱及文本素材集合[^2]。 #### 4. 天池大数据竞赛平台 阿里云旗下的天池平台不仅定期举办各类机器学习挑战赛，同时也对外开放了许多优质的训练样本供参赛者练习使用，其中不乏涉及NLP方向的比赛项目所使用的特定主题数据集。 ```python import requests from bs4 import BeautifulSoup def fetch_datasets(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') datasets_info = [] for item in soup.select('.dataset-item'): title = item.find('h3').text.strip() link = item.find('a')['href'] description = item.find(class_='description').text.strip() dataset_entry = { "title": title, "link": f"https://example.com{link}", "description": description } datasets_info.append(dataset_entry) return datasets_info url = "http://www.example-dataset-site.com/nlp-chinese" datasets_list = fetch_datasets(url) for ds in datasets_list[:5]: print(f"{ds['title']}: {ds['description']} ({ds['link']})") ``` 此段Python代码展示了如何通过网络爬虫的方式自动抓取指定网页上发布的部分公开可用的中文NLP数据集基本信息并打印前五个条目作为示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值