如何使用中文维基百科语料

最新推荐文章于 2025-02-10 10:52:16 发布
最新推荐文章于 2025-02-10 10:52:16 发布
阅读量2.1w 收藏 25
点赞数 3
文章标签： nlp 自然语言处理 维基百科 语料库 Wikipedia
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyangzhizhou/article/details/78348949
版权
本文介绍了如何使用中文维基百科的语料库，包括下载Wikipedia Dump、抽取数据、二次处理、繁体转简体和分词。推荐使用Wikipedia Extractor初步处理，并通过opencc将繁体中文转换为简体。最后，可以利用jieba进行分词操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

在做自然语言处理时很多时候都会需要中文语料库，高质量的中文语料库较难找，维基百科和百度百科算是比较不错的语料库。其中维基百科会定时将语料库打包发布 https://dumps.wikimedia.org/zhwiki/ ，可以下载最新版本的语料库。而百度百科则需要自己去爬，不过也有人把爬好的语料贡献出来了，https://pan.baidu.com/share/init?surl=i3wvfil提取码 neqs 。

这篇文章主要讲下如何使用中文维基百科的语料库。

Wikipedia Dump

通过 https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 可以下载最新的中文维基百科语料，目前大小为1.37G左右，里面内容以xml格式保存，所以我们后续还是需要做处理的。xml节点信息类似如下

<page>
  <title>&l
了解本专栏 订阅专栏 解锁全文 超级会员免费看
中文维基百科语料库（截止2019年2月20日）
02-24
这是最新的中文维基百科语料库（截至2019年2月20日），可以用来训练word2vec词向量，做文本分类，官网特别难下载，因此分享出来
维基百科简体中文语料的获取
u010920224的专栏
06-01 3477
最近做实验需要较大规模的中文语料，很自然的就想到使用维基百科的中文数据。 　　使用维基百科做训练语料有很多好处： 维基百科资源获取非常方便，有 Wiki Dump 可以直接下载，所有的最新备份都在里面。最近的一次备份是3月底，也就是5天前。相比之下，其他很多语料都需要用爬虫抓取，或者付费获得。维基百科的文档解析有非常多的成熟工具，直接使用开源工具即可完成正文的提取。维基百科的质量较高，而且
OpenCSG：为中文大模型打造的高质量开源语料库
最新发布
Code1994的博客
02-10 1189
尽管中文大语言模型（LLMs）如Qwen2、GLM等已经取得显著成就，但它们的成功离不开高质量的训练数据。然而，目前中文语料的开源资源极为匮乏，存在标注成本高、版权复杂、覆盖面不足等问题。这种限制不仅阻碍了模型性能的进一步提升，也拖慢了中文NLP领域的社区化进程。
中文维基百科语料-可用于词向量训练
10-19
数据来源于中文维基百科，利用gensim进行数据抽取，再经过繁体字转换成简体字，得到纯净的文本语料，可用于词向量训练。
中文维基百科语料库百度网盘网址.txt
08-10
本资源是维基百科中文网页的语料库（包含处理过的与未处理的），版本为2020-8-3版本，可适用于中文语料处理等训练集。由于文件过大，放在的百度网盘中，如果网盘被和谐或者其他原因造成的无法打开，请评论留言，本人看到后立即更改。 文件中包含的内容有：未经处理的维基百科语料库、使用代码处理繁体转简体并jieba分词后的语料库、繁体转简体的代码，读者可根据自己的需要进行相应的提取。
维基百科中文语料库训练word2vec模型和使用总结
TimEcho的博客
08-07 5901
首先列明参考博文地址： 使用中文维基百科语料库训练一个word2vec模型并使用说明 windows使用opencc中文简体和繁体互转 使用中文维基百科训练word2vec模型 一、下载维基百科中文语料库 下载地址：https://dumps.wikimedia.org/zhwiki/ 这里我选择的是20200801，下载第一个即可 二、语料库处理 1、使用WikiExtractor提取语料库文章 WikiExtractor项目git地址 直接根据说明安装，这里我直接pip WikiExtractor是
英文维基百科语料库txt（5）
03-10
《英文维基百科语料库txt（5）》是一个经过精心预处理的文本资源，主要包含了一系列英文维基百科文章的文本数据。这个压缩包文件集合了多个文本文件，包括enwiki_33.txt到enwiki_42.txt，总计九个文件，为研究者和...
英文维基百科语料库txt（9）
03-10
标题中的“英文维基百科语料库txt（9）”指的是一个包含多个英文维基百科文本数据的压缩包，这些数据经过一系列预处理步骤，包括分词、去停用词、转换为小写、词干提取和词形还原，使得它们更适合用于自然语言处理...
524MB中文维基百科语料pleisto-json.zip
04-11
524MB中文维基百科语料链接：https://huggingface.co/datasets/pleisto/wikipedia-cn-20230720-filtered 参考这个博客链接进行使用：...
维基百科中文语料（已分词）
05-23
自己用来训练word2vec的，已提取文本，做了分词处理，过滤了大部分的特殊字符。 共包含3273626个段落的文本（一个段落包含了多个语句）。 处理后的语料有1.1G，由于文件较大，提供百度网盘下载地址。
获取并处理中文维基百科语料
热门推荐
技术博客
03-02 1万+
中文语料库中，质量高而又容易获取的语料库，应该就是维基百科的中文语料了，而且维基百科相当厚道，每个月都把所有条目都打包一次（下载地址在这里：https://dumps.wikimedia.org/zhwiki/），供全世界使用，这才是真正的“取之于民，回馈于民”呀。遗憾的是，由于天朝的无理封锁，中文维基百科的条目到目前只有91万多条，而百度百科、互动百科都有千万条了（英文维基百科也有上千万了）。尽管如此，这并没有阻挡中文维基百科成为几乎是最高质量的中文语料库。（百度百科、互动百科它们只能自己用爬虫爬取，而且
中文维基百科hosts文件
06-19
中文维基百科hosts文件，拷贝到C:\Windows\System32\drivers\etc目录下，经测试可使用
中文维基百科优良词条
01-03
维基百科共有984,308篇条目，其中1,295(刷新)篇为优良条目（约每760篇条目中有一篇）。该txt文档包含所有的优良词条。
百度百科抓取工具
01-16
这个是一个python脚本，加入了动态代理，主要做的就是实现百度百科自动抓取
中文维基百科上的REST资料
03-06
不错的资料，方法有GET, PUT, DELETE, POST
百度百科语料库
04-03
语料库分为人物、景区、动物
探秘MITIE中文维基语料库：自然语言处理的新里程碑
gitblog_00059的博客
04-22 991
探秘MITIE中文维基语料库：自然语言处理的新里程碑 项目地址:https://gitcode.com/gh_mirrors/mi/MITIE_Chinese_Wikipedia_corpus 在人工智能的领域中，自然语言处理（NLP）是至关重要的一环，而高质量的数据集则是推动其发展的重要燃料。今天，我们要介绍的是一个名为MITIE（Multi-Task Iterative Learning）的中...
维基百科中文语料分析（附实际评论案例）
m0_58327216的博客
04-27 3458
维基百科语料分析，加购物平台商品评论分析实战
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

超人汪小建(seaboat)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值