ChineseWiki︱百万中文维基百科词条下载与整理

最新推荐文章于 2024-07-22 14:50:21 发布
最新推荐文章于 2024-07-22 14:50:21 发布
阅读量1.7w 收藏 15
点赞数
分类专栏： NLP︱R+python 付费-智能写作专栏 文章标签： 维基百科 语料 python 词条 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_26917383/article/details/79462107
版权
这篇博客介绍了如何下载和整理维基百科中文词条，包括使用opencc进行繁简转化，处理wiki词条，以及构建关键词检索模块。还提到了在处理过程中遇到的问题和解决方案。
摘要由CSDN通过智能技术生成

维基百科中文词条

维基百科开源的中文词条内容，收集了99W+词条，当然比百度少了不少。
有效处理该原始语料的方法主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。
两种处理都比较粗糙，导致：

  • Wikipedia Extractor提取出来的结果，会去掉很多空格与括号里面的内容；
  • gensim.corpora.wikicorpus.WikiCorpus处理，问题更严重，因为它连所有标点都去掉了。

本篇code见：mattzheng/ChineseWiki
先下载语料文件：下载地址

这里写图片描述

zhwiki-20180301-pages-articles-multistream.xml.bz2 是主文件；
zhwiki-20180301-pages-articles-mu

了解本专栏 订阅专栏 解锁全文 超级会员免费看
悟乙己
关注
专栏目录
订阅专栏
维基百科100维词向量模型下载
08-19
word2vec预训练模型，gensim做的
Wiki（中文翻译为维基）
weixin_40191861的博客
06-02 3032
此条目的主题不是或。i/ˈwɪkiː/）是一種可通过访问并由用户协同编辑其内容的。於1995年开发了最初的wiki。他将wiki定义为“一种允许一群用户用简单的描述来创建和连接一组的社会计算系统”。，wiki技术的发明者。有些人認爲，wiki系統屬於一種人類知識的網路系統，讓人們可以在web的基礎上對wiki進行瀏覽、創建和更改，而且這種創建、更改及發佈的成本遠比HTML文本小。與此同時，wiki系統還支持那些面向社群的協作式寫作，爲協作式寫作提供必要的幫助。
百度词条下载工具
09-17
使用pyinstaller将python编写的爬虫代码转为EXE文件，可在无python环境的机器上实现数据爬虫功能；该工具输入参数为需要检索的词条，关联词条条数，输出结果为csv文件，为相关联的N条词条及其释义。
哪个开源Wiki系统最好用？2024年6款优质推荐
最新发布
helphelptongxue的博客
07-22 2026
开源Wiki系统作为知识管理和团队协作的重要工具，具有低成本、灵活性高、社区支持强等优点。企业在选择时应根据团队规模、需求、可扩展性、易用性和安全性等多方面因素进行综合考量。本文推荐的6款Wiki知识库工具各具特色，适合不同规模和需求的团队使用。希望本文能为企业在选择开源Wiki系统时提供有价值的参考。
百度百科词条
04-12
百度百科约500万条词条，可用于语义关联或简单的知识网络建立，xml格式，解压后638M，请不要用记事本直接打开，我是用UE打开的，sublime好像会有乱码，文件内容示例如下： =1 <TITLE>=百度百科 =百度，百度百科，网络，百科全书，百科词典 =百度知道;贴吧;百度空间;百度地图;百度新闻搜索;百度图片;百度mp3;百度Hi;百度工具栏;百度影视;百度邮编搜索;百度黄页搜索;百度杀毒;百度语音搜索;科利尔百科全书;苏联大百科全书;汇吃百科;维基百科;百度视频;百度蜘蛛;百度文库;互动百科;百度文档;百度文化共享搜索;百度盲道;百度会员;百度搜藏;百度TV;百科全书;知识掌门人;百度游戏;百度有啊;张震;科友; =http://baike.baidu.com/view/1.htm =2 <TITLE>=词条 =百度，百度百科 =相关词条; =http://baike.baidu.com/view/2.htm =3 <TITLE>=编辑实验 =百度，百度百科，帮助，词条，编辑 =词条;百度; =http://baike.baidu.com/view/3.htm =4 <TITLE>=馒头 =食品，饮食，面食，食谱，蒸馍 =大饼;油条;面包;饺子;花卷;包子;麻花;食品;主食;糯米饭;蛋糕;鲜肉包;米粥;面条;凉拌菜;年糕;饼干;窝头;粽子;烤饼;酥饼;汤圆;烧饼; =http://baike.baidu.com/view/4.htm =6 <TITLE>=雁荡山 =地理，旅游，旅游景点，自然景观，地质公园 =华山;泰山;普陀山;恒山;嵩山;莫干山;浣江;衡山;括苍山;双龙洞;雪窦山;天台山;天目山;楠溪江;天柱山;景宁香炉山;乌镇;杭州西湖;泽雅;白水洋;武夷山;洞宫山;桃花岛;三清山;黄山;新安江水库;崂山区;溪口;太姥山;南麂列岛;野鹤湫;庐山;江心屿;瑶溪;朱家尖;石桅岩;绍兴县;杨家溪;仙岩山;仙都风景区;大龙湫;三折瀑;五岳; =http://baike.baidu.com/view/6.htm =7 <TITLE>=灵峰 =风景，雁荡山，地理，旅游，温州 = =http://baike.baidu.com/view/7.htm
百科词库基本词汇txt文件
01-24
百科词库的基本词汇, 按字母排序, txt文件, 一行一个词汇
维基百科简体中文语料的获取
u010920224的专栏
06-01 3336
最近做实验需要较大规模的中文语料，很自然的就想到使用维基百科的中文数据。 　　使用维基百科做训练语料有很多好处： 维基百科资源获取非常方便，有 Wiki Dump 可以直接下载，所有的最新备份都在里面。最近的一次备份是3月底，也就是5天前。相比之下，其他很多语料都需要用爬虫抓取，或者付费获得。维基百科的文档解析有非常多的成熟工具，直接使用开源工具即可完成正文的提取。维基百科的质量较高，而且
中文维基百科语料-可用于词向量训练
10-19
数据来源于中文维基百科，利用gensim进行数据抽取，再经过繁体字转换成简体字，得到纯净的文本语料，可用于词向量训练。
维基百科的下载及阅读方法简单说明(转载)借鉴.pdf
11-29
维基百科下载及阅读方法简单说明 维基百科是一个在线百科全书，提供了丰富的信息资源，内容详实且多样化，对获取事情的真相具有很大的帮助。然而，维基百科上的信息不一定都是正确的，也有一些是不和谐的。加之，...
524MB中文维基百科语料pleisto-json.zip
04-11
524MB中文维基百科语料链接：https://huggingface.co/datasets/pleisto/wikipedia-cn-20230720-filtered 参考这个博客链接进行使用：...
维基百科中文语料（已分词）
05-23
自己用来训练word2vec的，已提取文本，做了分词处理，过滤了大部分的特殊字符。 共包含3273626个段落的文本（一个段落包含了多个语句）。 处理后的语料有1.1G，由于文件较大，提供百度网盘下载地址。
中文维基百科hosts文件
06-19
中文维基百科hosts文件，拷贝到C:\Windows\System32\drivers\etc目录下，经测试可使用
中文维基百科优良词条
01-03
维基百科共有984,308篇条目，其中1,295(刷新)篇为优良条目（约每760篇条目中有一篇）。该txt文档包含所有的优良词条。
中文维基百科语料库（截止2019年2月20日）
02-24
这是最新的中文维基百科语料库（截至2019年2月20日），可以用来训练word2vec词向量，做文本分类，官网特别难下载，因此分享出来
利用Python爬取百度百科词条
10-23
利用Python爬取百度百科网络爬虫词条以及相关词条的标题、摘要和链接等信息
urllib和BeautifulSoup爬取维基百科的词条简单实例
01-01
本文实例主要实现的是使用urllib和BeautifulSoup爬取维基百科的词条，具体如下。 简洁代码： #引入开发包 from urllib.request import urlopen from bs4 import BeautifulSoup import re #请求URL并把结果用UTF-8...
维基百科
MasterLRC的专栏
09-11 2918
欢迎来到维基百科。“海纳百川，有容乃大”，这是一部内容开放的多语言 (http://www.wikipedia.org/wiki/Wikipedia%3AMultilingual_coordination)百科全书。维基百科中文版始于2002年10月，现在已经有13263个条目。中文维基百科欢迎您参与，请踊跃增加条目。希望我们的努力可以丰富互联网上的中文资料。如果想了解编辑条目的方法，请访问社群首
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值