中文语料库

已于 2023-08-16 19:47:08 修改
阅读量413 收藏 1
点赞数
分类专栏： # LLM/数据处理&Tokenizer 文章标签： 语料
于 2023-07-14 17:20:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/131728301
版权
本文介绍了如何获取中文语料库，包括下载wiki中文语料的链接，但由于网络问题，提供了解决方案，如通过GitHub上的开源项目nlp_chinese_corpus和Awesome-Chinese-NLP找到替代资源，以及维基中文语料库的相关信息。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
中文情感分析语料库
08-02
中文情感分析语料库，包含 酒店、服装、水果、平板、洗发水 等 5 个领域的评价数据，每个领域各包含 5000 条正面和负面评价，数据抓取于 携程网 和 京东 ，仅供科研学习之用，欢迎下载使用！
NLP，自然语言处理，多语种语料包
03-03
NLP，自然语言处理，多语种语料包
聊天中文语料库对比
最新发布
gitblog_06507的博客
09-20 440
聊天中文语料库对比 聊天中文语料库对比附上各资源链接 项目地址: https://gitcode.com/Resource-Bundle-Collection/fb918 ...
公开的中文语料库有哪些？
程序猿视角
05-17 1783
中文情感分析数据集ChnSentiCorp：包含正面、负面和中性情感的中文文本数据，适用于情感分析任务。开放中文词库OpenCC：提供包括简体中文、繁体中文和粤语在内的多种语言版本的中文分词和转换词库。以上仅是一部分常用的公开中文语料库，还有其他一些数据集如人民日报、新华社、搜狗实验室等也值得关注。中文Gigaword数据集：包含新闻、杂志和网页等语料，适用于自然语言处理任务。THUCTC中文文本分类数据集：包含20个分类别的中文文本，适用于文本分类任务。中文维基百科：包含大量的中文文章，非常全面和丰富。
中文自然语言处理学习笔记（二）——语料库的安装与使用
weixin_68955195的博客
04-02 2056
这章笔记一步步介绍语料库概念与使用，安装NLTK，实现对线上语料库内容的获取与分析，最后实现构建一个斗罗大陆小说的本地语料库。
中文语料库有哪些
飘过的春风
05-04 2万+
中文自然语言处理开放平台 由中国科学院计算技术研究所·数字化室＆软件室创立一个研究自然语言处理的一个平台，里面包含有大量的训练测试语料。 语料库：http://www.nlp.org.cn/docs/doclist.php?cat_id=9&type=15 文本语料库：http://www.nlp.org.cn/docs/doclist.php?cat_id=16&amp...
AIML/aiml中文语料库
02-16
这个语料库大概有上万条对话，都是中文的，免费分享给大家。缺点是使用的语法都是最基本的语法，没有一些华丽的对话设置。
人民日报语料库（中文分词语料库）
09-08
《人民日报语料库（中文分词语料库）》是由北京大学开发的一个重要的中文语言资源，它主要包含1998年1月份《人民日报》的所有文本，这些文本经过了专业的词性标注处理，对于研究中文自然语言处理，特别是中文分词与...
兰卡斯特汉语语料库LCMC语料库
07-02
LCMC语料库是一个100万词次（按每1.6个汉字对应一个英文单词折算）的现代汉语书面语通用型平衡语料库。起先建立时，它是作为英国经社研究委员会资助项目Contrasting Tense and Aspect in English and Chinese的部分...
aiml中文语料
08-24
而“语料库”和“中文语料库”的标签则明确了其数据集的本质，表明它是一个包含大量语言样本的集合，对于训练自然语言处理（NLP）模型至关重要。 在压缩包子文件的文件名称列表中，只有一个名为“Corpus”的文件，...
NLP，自然语言处理，语料包
03-03
NLP，自然语言处理，语料包
中文分词多领域语料库
a719842465的博客
02-18 1851
中文分词多领域语料库数据处理 各位NLPer，大家好！ 如果你还在从事中文分词领域的相关研究，你一定会发现，随着时间推移，中文分词的研究越来越少，BERT出现后，以字为粒度的方法盛行，有关中文分词的论文已经很少出现在期刊、顶会之中。 研究领域小众是常事，科研也从不应该盲目扎堆于热点技术之中，但是目前中文分词相关研究，已经许久没有新数据可用，旧数据也逐渐坏链，github频频登陆失败，更别提下载语料，这些都让神经网络相关研究无从下手。 因此，我总结了目前公开的可用于分词的语料库，将其分享出来，以供各位学者参考
NLP：中科院NLP语料库
SYC20110120的博客
09-06 395
该语料库包含了多种不同类型的文本数据，如新闻、论坛、微博、百科、小说等。其中，新闻文本是中文新闻语料库（Chinese News Corpus，简称CNC）的子集，是该语料库最常用的部分。该语料库的规模较大，包含超过10亿字的中文文本数据，可供用于多种自然语言处理任务，如分词、词性标注、命名实体识别、句法分析等。同时，该语料库还提供了多种不同的数据格式，并且可以进行自定义的文本查询和统计分析。中科院NLP语料库是中文自然语言处理研究和应用的重要资源之一，已被广泛应用于学术研究、商业应用等领域。
探索《Small Chinese Corpus》：一个轻量级中文语料库
gitblog_00006的博客
04-16 807
探索《Small Chinese Corpus》：一个轻量级中文语料库 去发现同类优质开源项目:https://gitcode.com/ 项目简介 在语言处理和自然语言生成的领域中，高质量的语料库是至关重要的资源。 是由北京大学智能计算实验室（CrownPKU）开发的一个小型但实用的中文文本数据集，旨在为研究者、开发者和学生提供一个易于上手、可快速实验的平台。 技术分析 此项目以Markdown格...
15个国内常用语料库
顺其自然~专栏
03-15 5869
http://www.aihanyu.org/cncorpus/index.aspx该语料库是由国家语言文字工作委员会主持，面向语言文字信息处理、语言文字规范和标准的制定、语言文字的学术研究、语文教育以及语言文字的社会应用，总体规模达1 亿字，语料时间跨度为1919-2002年，收录了人文与社会科学、自然科学及综合三个大类约40个小类的语料。其中标注语料库为国家语委现代汉语通用平衡语料库全库的子集，该子集是按照预先设计的选材原则进行平衡抽样，对语料进行分词和词类标注，并经过三次人工校对，最后得到约5000万
知名中文语料库
大明王
03-04 1247
知名中文语料库： 中央研究院近代汉语标记语料 http://www.sinica.edu.tw/Early_Mandarin/ (台湾的繁体，在NLTK中有) 2.中央研究院汉籍电子文献 http://www.sinica.edu.tw/ftms-bin/ftmsw3 国家现代汉语语料库 http://124.207.106.21:8080/ 这个没搜索到 4.国家语委现代汉语语料库 ht...
探秘《corpusZh》：中文语料库的宝藏仓库
gitblog_00039的博客
03-29 589
探秘《corpusZh》：中文语料库的宝藏仓库 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个由李文 Zhu 创建并维护的开源项目，旨在收集、整理和分享大量的中文语料数据。这个项目包含了各种类型的文本资源，如新闻、文学作品、论坛对话等，为自然语言处理（NLP）爱好者和开发者提供了一个宝贵的资料库。 技术分析 1. 数据结构与组织方式 项目以Markdown文件的...
【语料库】语料库资源汇总
热门推荐
Fredericke Guo的专栏
12-19 2万+
国内可用免费语料库（凡没有标注不可用的链接均可用） (一) 国家语委 1国家语委现代汉语语料库http://www.cncorpus.org/ 现代汉语通用平衡语料库现在重新开放网络查询了。重开后的在线检索速度更快，功能更强，同时提供检索结果下载。现代汉语语料库在线提供免费检索的语料约2000万字，为分词和词性标注语料。 2古代汉语语料库http://www.cncorpu
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值