Chinese Treebank系列数据集划分，以及ctb转换成斯坦福标准数据集的完整代码

已于 2023-03-04 21:20:57 修改
阅读量607 收藏 2
点赞数
分类专栏： nlp数据集 python 深度学习 文章标签： python nlp big data
于 2023-02-18 20:12:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43737862/article/details/129103699
版权

ctb系列数据集划分训练集、验证集、测试集

文章目录

ctb5

  • Kruengkrai, Canasai, Kiyotaka Uchimoto, Jun’ichi Kazama, Yiou Wang, Kentaro Torisawa和Hitoshi Isahara. 《An Error-Driven Word-Character Hybrid Model for Joint Chinese Word Segmentation and POS Tagging》. 收入 Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, 513–21. Suntec, Singapore: Association for Computational Linguistics, 2009. https://aclanthology.org/P09-1058.
  • 在这里插入图片描述

CTB7

  • Wang, Yiou, Jun Kazama, Yoshimasa Tsuruoka, Wenliang Chen, Yujie Zhang和Kentaro Torisawa. 《Improving Chinese Word Segmentation and POS Tagging with Semi-supervised Methods Using Large Auto-Analyzed Data》, 2011.

  • ctb7

  • ctb7

  • ctb7

ctb8 & ctb9

  • Shao, Yan, Christian Hardmeier, Jörg Tiedemann和Joakim Nivre. 《Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN-CRF》. 收入 Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 173–83. Taipei, Taiwan: Asian Federation of Natural Language Processing, 2017. https://aclanthology.org/I17-1018.
  • ctb9

CTB8 & CTB9 (何晗大佬倡导)

  • https://bbs.hankcs.com/t/topic/3024

  • 每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集

  • ctb9的拆分在学术界已有定论，根据IJCNLP 2017上Shao et. al的论文，ctb9拆分遗漏了51个文件，亦即4000-4050这个区间。而且该拆分在各个领域（genre）上的分布比较不均匀。ctb9一共8个领域，分别为：

    • nw 新闻
    • mz 杂志
    • bn 广播新闻
    • bc 广播访谈
    • wb 博客
    • df 论坛
    • sc 短信
    • cs 聊天

  • 在这些领域上，学术界拆分导致的文件数统计如下：

    • Shao et. al (2017) 拆分统计

    • genretraindevtest
      nw604(79.47%)25(3.29%)131(17.24%)
      mz117(90.00%)0(0.00%)13(10.00%)
      bn965(79.95%)122(10.11%)120(9.94%)
      bc69(80.23%)9(10.47%)8(9.30%)
      wb171(79.91%)22(10.28%)21(9.81%)
      df447(79.96%)46(8.23%)66(11.81%)
      sc561(80.03%)70(9.99%)70(9.99%)
      cs14(77.78%)1(5.56%)3(16.67%)

  • 考虑到上述样本遗漏、样本不均衡以及拆分规则复杂的问题，HanLP提出如下拆分，推荐给工业界和开源界人士：

    • 每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集。

    • 这个简单直白的划分不仅操作简单，而且能够保证各个领域的均衡比例。该划分的统计信息如下

  • genretraindevtest
    nw655(80.76%)78(9.62%)78(9.62%)
    mz105(80.77%)13(10.00%)12(9.23%)
    bn967(80.12%)120(9.94%)120(9.94%)
    bc70(81.40%)8(9.30%)8(9.30%)
    wb170(79.44%)22(10.28%)22(10.28%)
    df448(80.14%)56(10.02%)55(9.84%)
    sc561(80.03%)70(9.99%)70(9.99%)
    cs16(88.89%)1(5.56%)1(5.56%)

划分代码

  • 安装必要的运行库

    • pip install hanlp

  • 定义数据集的train、dev、test

    • CTB9_ACADEMIA_SPLITS = {
    'train': '''
0044-0143, 0170-0270, 0400-0899,
1001-1017, 1019, 1021-1035, 1037-
1043, 1045-1059, 1062-1071, 1073-
1117, 1120-1131, 1133-1140, 1143-
1147, 1149-1151, 2000-2915, 4051-
4099, 4112-4180, 4198-4368, 5000-
5446, 6000-6560, 7000-7013
    ''',
    'dev': '''
0301-0326, 2916-3030, 4100-4106,
4181-4189, 4369-4390, 5447-5492,
6561-6630, 7013-7014
    ''',
    'test': '''
0001-0043, 0144-0169, 0271-0301,
0900-0931, 1018, 1020, 1036, 1044,
1060, 1061, 1072, 1118, 1119, 1132,
1141, 1142, 1148, 3031-3145, 4107-
4111, 4190-4197, 4391-4411, 5493-
5558, 6631-6700, 7015-7017
    '''
}

  • 分割，将字符串转换为list表

    • def _make_splits(splits: Dict[str, str]):
    total = set()
    for part, text in list(splits.items()):
        if not isinstance(text, str):
            continue
        lines = text.replace('\n', '').split()
        cids = set()
        for line in lines:
            for each in line.split(','):
                each = each.strip()
                if not each:
                    continue
                if '-' in each:
                    start, end = each.split('-')
                    start, end = map(lambda x: int(x), [start, end])
                    cids.update(range(start, end + 1))
                    # cids.update(map(lambda x: f'{x:04d}', range(start, end)))
                else:
                    cids.add(int(each))
        cids = set(f'{x:04d}' for x in cids)
        assert len(cids & total) == 0, f'Overlap found in {part}'
        splits[part] = cids

    return splits
# 
ctb9_splits = _make_splits(CTB9_ACADEMIA_SPLITS)

  • 使用hanlp的方法make_ctb，制作nlp四个任务(cws,dep,par,pos)的标准数据集

    • from hanlp.datasets.parsing.loaders._ctb_utils import make_ctb
make_ctb(ctb_home='./data/ctb9.0/data',splits=ctb9_splits)

    • ctb_home：ctb系列原始数据下的data目录地址

    • splits[option]：上一步制定的划分规则，默认每个文件以8结尾的划入开发集，以9结尾的划入测试集，否则划入训练集的规则划分

  • 完整代码

    '''
coding:utf-8
@Software:PyCharm
@Time:2023/2/8 10:17
@Author:curious
 See Shao et al., 2017, 采用学术界认可的ctb9拆分方案
'''
from typing import Dict
from hanlp.datasets.parsing.loaders._ctb_utils import make_ctb
CTB9_ACADEMIA_SPLITS = {
    'train': '''
0044-0143, 0170-0270, 0400-0899,
1001-1017, 1019, 1021-1035, 1037-
1043, 1045-1059, 1062-1071, 1073-
1117, 1120-1131, 1133-1140, 1143-
1147, 1149-1151, 2000-2915, 4051-
4099, 4112-4180, 4198-4368, 5000-
5446, 6000-6560, 7000-7013
    ''',
    'dev': '''
0301-0326, 2916-3030, 4100-4106,
4181-4189, 4369-4390, 5447-5492,
6561-6630, 7013-7014
    ''',
    'test': '''
0001-0043, 0144-0169, 0271-0301,
0900-0931, 1018, 1020, 1036, 1044,
1060, 1061, 1072, 1118, 1119, 1132,
1141, 1142, 1148, 3031-3145, 4107-
4111, 4190-4197, 4391-4411, 5493-
5558, 6631-6700, 7015-7017
    '''
}
def _make_splits(splits: Dict[str, str]):
    total = set()
    for part, text in list(splits.items()):
        if not isinstance(text, str):
            continue
        lines = text.replace('\n', '').split()
        cids = set()
        for line in lines:
            for each in line.split(','):
                each = each.strip()
                if not each:
                    continue
                if '-' in each:
                    start, end = each.split('-')
                    start, end = map(lambda x: int(x), [start, end])
                    cids.update(range(start, end + 1))
                    # cids.update(map(lambda x: f'{x:04d}', range(start, end)))
                else:
                    cids.add(int(each))
        cids = set(f'{x:04d}' for x in cids)
        assert len(cids & total) == 0, f'Overlap found in {part}'
        splits[part] = cids

    return splits


ctb9_splits = _make_splits(CTB9_ACADEMIA_SPLITS)
make_ctb(ctb_home='./data/ctb9.0/data',splits=ctb9_splits)

注意

  • windows下运行make_ctb可能会出问题，建议在Linux下运行
  • 需要划分好的数据集的，私聊我
curiousChen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Chinese Treebank简单介绍
qq_45385038的博客
12-14 1463
CTB中汉语词性划分规则： 汉语被划分为33类 4类动词和谓语性形容词（Verb, adjective） – VC: Copula 系动词 – VE: main verb – VV: Other verb（其他动词） – VA: Predicative adjective（表语形容词） 3类名词 – NR（专有名词） – NT（时间名词） – NN（其他名词） 1类处所词 – LC（处所词），方位：前后里外左右上下 1类代词 – PN（代词） 3类限定词和数词 – DT: Determiner（限定词），
句法分析ctb5.0(Chinese Treebank .0)数据集
05-24
句法分析ctb5.0(Chinese Treebank .0)数据集，以前花钱买的，现在分享给大家。
Penn Chinese Treebank （CTB）论文笔记-成分句法分析的标注体系
qq_40332976的博客
09-16 1213
Penn Chinese Treebank 标注体系 1. 分词（word segmentation） 由于本文的目标是为句子建立句法结构，因此在分词阶段本文采用了句法词（句法原子）的概念。涉及构词法和词法分析。 2. 词性标注（POS tagging） 由于汉语词汇没有时态、格数标记，词性标注的核心问题是词性标注的定义是基于语义还是基于句法分布。这个问题从20世纪50年代就开始争论了(Gong 1997)，存在有两种相反的观点。 例如，“毁灭”翻译成英文：destroy/destroys/destroye
CTB8.0数据集介绍，编号LDC2013T21
ldcdata的博客
10-16 59
Chinese Treebank 8.0 是一个树库数据集，其文件结构如下：
中文词性标注数据集
SYSU_BOND的博客
07-03 2858
中文词性标注数据集 1. Chinese Treebank X.0 (CTBX) 数据集简介： 由LDC构建的中文树库。CTBX中X表示版本，随着版本数据规模扩大，以及部分标准修正。CTB1标注数据来自新华日报；CTB2对CTB1进行部分纠正以及进行发布；CTB4标注数据来自新华日报、香港政府新闻处发布的新闻、以及台湾Sinorama magazine；CTB5标注数据来源同CTB4，对规模进行扩大；CTB6增加了来自广播节目的标注数据；CTB7增加了广播新闻、微博数据、以及广播电视谈话类节目数据；CT
中文自然语言处理 （NLP） 的共享任务、数据集和最新结果
07-02
2. **句法分析数据集**：如PKU Treebank和CTB（Chinese TreeBank），包含了句子的句法结构信息，可用于句法分析模型的训练。 3. **命名实体识别数据集**：如MSRA-NER，标记了文本中的专有名词，如人名、地名、机构名...
Chinese treebank .pdf
05-22
Treebanking Chinese Text: What it’s like Overview – Background – Annotation procedure (old and new) • Properties of Chinese and their impact on treebanking – – – – Unreliable sentence ...
CTB 论坛 数据库结构分析
02-26
CTB 论坛 数据库结构分析
汉语分词语料库
05-23
CTB6汉语分词语料库，可以拿来做分词任务。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
PTB数据集和baseline
03-01
Penn Tree Bank (PTB) dataset， is widely used in machine learning of NLP (Natural Language Processing) research.
百度开源的依存句法分析系统
datayx的文章
09-06 1482
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx依存句法分析是自然语言处理核心技术之一，旨在通过分析句子中词语之间的依存关系来确定句...
CTB 9.0数据集，官网编号LDC2016T13
最新发布
2301_78524903的博客
04-12 421
具体来说，CTB 9.0数据集中的文本可能涵盖了新闻、文学、科技等多种类型的语料，并且这些文本都经过了详尽的句法标注，以树形结构的形式表示了句子的句法结构。然而，需要注意的是，尽管CTB 9.0数据集为中文自然语言处理研究提供了宝贵资源，但由于其数据规模、标注质量等因素的限制，可能并不能完全满足所有研究需求。另外，对于想要获取和使用CTB 9.0数据集的研究人员，通常需要通过特定的渠道进行申请和获取。总的来说，CTB 9.0数据集是一个重要的中文自然语言处理资源，为相关领域的研究提供了有力的支持。
CTB7.0数据集介绍，编号LDC2010T07
ldcdata的博客
10-12 33
ctb7.0是一个树库数据集，其文件结构如下：
NLP模型笔记2022-07：一种联合中文分词和依存分析的统一模型训练CTB5数据集【论文复现+源码+数据集下载】
源代码杀手的博客
05-24 699
论文摘要：中文分词和依存解析是中文自然语言处理的两个基本任务。依赖解析是在单词级别定义的。因此分词是依赖解析的前提条件，这使得依赖解析遭受错误传播，无法直接利用字符级预训练的语言模型（如BERT）。在本文中，我们提出了一种基于图的模型来集成中文分词和依赖解析。与以前基于转换的联合模型不同，我们提出的模型更简洁，从而减少了特征工程的工作量。我们的基于图的联合模型比以前的联合模型具有更好的性能，并且在中文分词和依赖解析方面取得了最先进的结果。此外，当结合BERT时，我们的模型可以大大减少联合模型和基于词的黄金.
NLP模型笔记2022-11：CTB5和CTB8数据集预处理 【PennTreebank 和Chinese Treebank】
源代码杀手的博客
06-01 992
ctb5和ctb8数据集下载地址: ctb5:https://download.csdn.net/download/weixin_41194129/85448924?spm=1001.2014.3001.5503 ctb8:https://download.csdn.net/download/weixin_41194129/85337314?spm=1001.2014.3001.5503NLP模型实践文章：一种联合中文分词和依存分析的统一模型训练CTB5数据集【论文复现+源码+数据集下载】 CTB 有点乱，
横扫13项中文NLP记录，中文字型深度学习模型Glyce问世
weixin_43298663的博客
02-18 349
　　来源：PaperWeekly 　　本文约3000字，建议阅读5分钟。 　　本文介绍了由香侬科技提出的中文字型的深度学习模型Glyph，其中13项打破纪录。 　　[ 导读 ]香侬科技近期提出 Glyce，首次在深度学习的框架下使用中文字形信息（Glyph），横扫 13 项中文自然语言任务记录，其中包括：(1) 字级别语言模型 (2) 词级别语言模型 (3) 中文分词 (4) 命名实体识别 (5) 词性标注 (6) 句法依存分析 (7) 语义决策标注 (8) 语义相似度 (9) 意图识别 (1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值