【wiki维基百科中文数据集】抽取wiki数据集——实操

本文介绍了如何下载和处理中文wiki百科数据集,包括从官网获取最新数据、使用extractor工具抽取数据,并分享了实际操作中遇到的条目数量差异问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考

https://blog.csdn.net/wangyangzhizhou/article/details/78348949

【另外一篇参考处理wiki数据】

  【1】【https://blog.csdn.net/sinat_26917383/article/details/79462107

    【上述代码】【https://github.com/mattzheng/ChineseWiki/blob/master/README.md

  【2】【https://blog.csdn.net/jdbc/article/details/59483767

  一、下载数据集

  到【https://dumps.wikimedia.org/zhwiki/latest/】下载最新的中文wiki百科数据集【zhwiki-latest-pages-articles.xml.bz2】。

  也就是【https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值