自然语言处理相关数据语料

转载From:自然语言处理中文数据集入口整理_zhurui_xiaozhuzaizai的博客-程序员ITS401 - 程序员ITS401

1 github 链接 

    https://github.com/SophonPlus/ChineseNlpCorpus          包括:情感分类,推荐,问答

   https://github.com/CLUEbenchmark/CLUEDatasetSearch       NER、QA、情感分析、文本分类、文本分配、文本摘要、机器翻译、知识图谱、语料库以及阅读理解等 10 大类共 142 个数据集

    https://github.com/brightmart/nlp_chinese_corpus            Large Scale Chinese Corpus for NLP

    https://github.com/crownpku/Awesome-Chinese-NLP#corpus-中文语料   中文语料

    https://github.com/InsaneLife/ChineseNLPCorpus                  中文自然语言处理数据集

新闻分类

  • 今日头条中文新闻(短文本)分类数据集:https://github.com/fateleak/toutiao-text-classfication-datase
  • 清华新闻分类语料:

    • http://thuctc.thunlp.org/#%E8%8E%B7%E5%8F%96%E9%93%BE%E6%8E%A5

    • rnn和cnn实验:https://github.com/

      gaussic/text-classification-cnn-rnn

  • 中科大新闻分类语料库:http://www.nlpir.org/?action-viewnews-itemid-145

实体识别&词性标注

  • 微博实体识别 https://github.com/hltcoe/golden-horse
  • boson数据。https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/boson

  • 1988年人民日报   https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/renMinRiBao

  • MSRA微软亚洲研究院数据集。https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/MSRA

  • SIGHAN Bakeoff 2005:一共有四个数据集,包含繁体中文和简体中文,下面是简体中文分词数据。

    • MSR: http://sighan.cs.uchicago.edu/bakeoff2005/

    • PKU :http://sighan.cs.uchicago.edu/bakeoff2005/

 4 搜索

  • OPPO手机搜索排序   https://pan.baidu.com/s/1Obm8oRVZEIh76-cpPc0qZw
  • 网页搜索结果评价(SogouE)用户查询及相关URL列表       https://www.sogou.com/labs/resource/e.php

5 百科

  • 维基百科 https://dumps.wikimedia.org/zhwiki/               https://dumps.wikimedia.org/

  • 百度百科,只能自己爬,爬取得链接:https://pan.baidu.com/share/init?surl=i3wvfil提取码 neqs 。
  • 最全中华古诗词数据集,下载地址:https://github.com/chinese-poetry/chinese-poetry

  • 保险行业语料库 下载地址:https://github.com/Samurais/insuranceqa-corpus-zh

6 指代消歧

  • CoNLL 2012 :http://conll.cemantix.org/2012/data.html

7 预训练:(词向量or模型)

  • BERT     开源代码:https://github.com/google-research/bert
  • ELMO           开源代码:https://github.com/allenai/bilm-tf             预训练的模型:https://allennlp.org/elmo
  • 腾讯词向量  下载地址:https://ai.tencent.com/ailab/nlp/embedding.html
  • 上百种预训练中文词向量       下载地址:https://github.com/Embedding/Chinese-Word-Vectors

8 中文完形填空数据集         下载地址:https://github.com/ymcui/Chinese-RC-Dataset

9 中文数据集平台

  • 搜狗实验室提供了一些高质量的中文文本数据集,时间比较早,多为2012年以前的数据。https://www.sogou.com/labs/resource/list_pingce.php
  • 中科大自然语言处理与信息检索共享平台

    http://www.nlpir.org/?action-category-catid-28

  • 中文语料小数据   包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据。

         https://github.com/crownpku/Small-Chinese-Corpus

10  中文 NLP 数据集搜索:https://www.cluebenchmarks.com/dataSet_search.html

NLP工具

THULAC:https://github.com/thunlp/THULAC :包括中文分词、词性标注功能。

HanLP:https://github.com/hankcs/HanLP

哈工大LTP: https://github.com/HIT-SCIR/ltp

NLPIR :https://github.com/NLPIR-team/NLPIR

jieba :https://github.com/yanyiwu/cppjieba

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值