WikipediaExtractor 使用心得

最新推荐文章于 2024-03-22 09:35:20 发布
最新推荐文章于 2024-03-22 09:35:20 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： PYTHON 文章标签： python wikipedia extractor
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tctjx/article/details/48827087
版权
本文介绍了如何在Mac环境下使用WikipediaExtractor解析wiki数据，通过调整命令解决了初始问题，得到了纯文本内容，但过程中丢失了超链接、引用等格式信息。
摘要由CSDN通过智能技术生成

WikipediaExtractor 是python下一款解析wikipedia dump的利器。根据官网的介绍，只需一行即可抽取wikipedia dump的主要内容：bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -cb 250k -o extracted


但是个人在mac下使用时发现以上命令不能愉快的调用，改成类似

python WikiExtractor.py -cb1000M -o extracted enwiki-20150602-pages-articles1.xml-p000000010p000010000.bz2 可以搞定

得到

最低0.47元/天 解锁文章
tctjx
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Wikipedia Extractor
04-16
Wikipedia Extractor 是意大利人用 Python 写的一个维基百科抽取器，使用非常方便。
WikiExtractor.py
03-07
维基百科提取器，用来提取维基百科的内容！
使用WikiExtractor提取维基百科语料
m0_62854342的博客
01-18 1146
2.升级到 Python 3.8 及以上版本，Python 3.8 引入了新的 multiprocessing.get start method 方法，可以方便地更改创建进程的方式。这个错误通常出现在 Windows 系统上，因为 Windows 不支持 fork方法，而 fork 是 Multiprocessing 模块默认使用的创建进程的方式。只是不符合代码的模板，不影响提取的进行，可能最后会影响提取的效果。如果你的代码中使用了 fork() 方法，那么你需要修改代码，使用其他方式创建进程。
使用WikiExtractor打造你的知识库：技术解析与应用指南
最新发布
gitblog_00062的博客
03-22 527
使用WikiExtractor打造你的知识库：技术解析与应用指南 wikiextractorA tool for extracting plain text from Wikipedia dumps项目地址:https://gitcode.com/gh_mirrors/wi/wikiextractor 项目简介 是一个开源工具，由Attardi开发，用于从维基百科的XML dump文件中提取高质...
jb-wikipedia-extractor:维基百科信息提取器。 将其用作爬行插件很有用。 请注意，有一个官方 API。 本项目做http请求，返回一些无法通过官方API请求的维基百科组件
06-20
维基百科提取器 维基百科信息提取器。 将其用作爬行插件很有用。 请注意，有一个官方 API。 这个项目做http请求，返回一些无法通过官方API请求的维基百科组件。
wikiextractor使用举例
c_jia_jia的博客
05-24 1707
本文主要记录使用wikiextractor工具处理enwiki数据集。 数据集下载 处理英文维基百科的文章，数据集在数据链接内找 enwiki:Dump complete，找到后点击进入新页面，找到 enwiki-最近更新的日期-pages-articles.xml.bz2 下载，20200520更新的为16.1GB。注意，下载后不需要解压，wikiextractor可以直接处理。 wikiextractor的使用 工具链接：https://github.com/attardi/wikiextra.
Wikipedia Concept Extractor-开源
04-26
《Wikipedia Concept Extractor：开源语义增强工具》 在当今的信息时代，数据的语义理解和处理成为了一项至关重要的任务。Wikipedia Concept Extractor是一个开源项目，它旨在从庞大的Wikipedia知识库中提取术语和...
Wiki-API:使用Flask和Python构建的简单Wikipedia API，以JSON格式获取Wiki数据
03-10
使用Flask和Python构建的简单Wikipedia API，以JSON格式获取Wiki数据 显示一些 :red_heart: 和 :star: 支持项目的仓库 使用Flask用Python编写的Wiki API 注意：您不需要具有文章的Wikipedia链接即可获取文章详细...
WikiExtractor.py（维基百科抽取器）
qq_41648012的博客
03-31 3584
#!/usr/bin/env python # -*- coding: utf-8 -*- # ============================================================================= # Version: 2.75 (March 4, 2017) # Author: Giuseppe Attardi (attardi@di....
Wiki-Extractor：从Wikipedia数据库转储中提取纯文本的命令行工具
02-26
维基提取器 是用于从给定的Wikipedia数据库转储中提取纯文本的命令行工具。 它处理数据库转储中包含的原始Wikipedia文档，并生成一系列包含相同文档但清除了Wiki语法标记的文本文件。 这些文件可由需要大量纯文本格式的高质量文档的任何后续处理使用。 执照 此代码是根据。 学分 （与Yahoo! Research合作）针对一项创新技术进行了研究，以构建基于语义关系的问题回答系统，该工具于2007年实施。 从这种实现开始，多年来已经开发了许多其他版本的通行费。 将重要的进展合并到此存储库中将是非常好的。 就我而言，在空闲时间，我将尽力而为，并感谢您的贡献，以恢复这一有用且美观的工具的发展。
wikiextractor：从Wikipedia转储中提取纯文本的工具
02-28
WikiExtractor 是一个Python脚本，可从中提取和清除文本。 该工具是用Python编写的，不需要Python 3，但没有其他库。 警告：由于Windows上的Python实现对StringIO支持不佳， StringIO在Windows上已报告问题。 有关更多信息，请参见 。 维基百科卷云提取器 cirrus-extractor.py是从Wikipedia Cirrus转储执行提取的脚本版本。 Cirrus转储包含带有已扩展模板的文本。 Cirrus转储位于： 。 细节 WikiExtractor通过预处理整个转储并提取模板定义来执行模板扩展。 为了加快处理速度： 多重处理用于并行处理文章 缓存中保留有已解析的模板（仅适用于重复提取）。 安装 该脚本可以直接调用： python -m wikiextractor.WikiExtractor <Wikipedi
使用wikiextractor 提取wiki数据
ljs_a的博客
04-28 2168
wikiextractor包链接地址：https://github.com/attardi/wikiextractor 安装wikiextractor: pip install wikiextractor 然后下载wiki语料库，下载地址: https://dumps.wikimedia.org/zhwiki/latest/ 我下载的是：zhwiki-latest-pages-articles.xml.bz2 然后使用下面命令： python -m wikiextractor.WikiExtractor -
抽取wiki内容以及简体中文转换为繁体中文
一枚菜鸟的学习笔记
04-15 8765
抽取wiki内容 今天测试了网上分享的一个工具：WikiExtractor.py 这是一个抽取wiki内容的工具，是意大利人用 Python 写的一个维基百科抽取器，使用非常方便。下载Wiki Dump 之后（链接是：http://download.wikipedia.com/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2。）直接使
维基百科（Wikipedia）网址
热门推荐
平庸
08-22 80万+
分享几个维基百科网址镜像，服务器在国内，可以直接访问，并且打开速度比较快，因镜像网址的原因，搜索的结果也几乎相同，若无法访问国外的维基百科，那就来试试这个吧。
Wikipedia中文文本数据获取
weixin_36711901的博客
01-23 8049
欢迎各位童鞋交流和指教！ ----------------------------------------------------------------------------------- 最近因为要做中文语义关系分类，所以需要获取一些中文文本数据，wikipedia中文无疑是一个很好的选择。 因为wiki自己平时隔一段时间就在dump的网页上更新文本数据，这个非常方便我们使用和下...
获取并处理中文维基百科语料
weixin_46087812的博客
03-24 2033
获取语料 下载链接 处理语料 直接下载下来的维基百科语料是一个带有html和markdown标记的文本压缩包，基本不能直接使用。目前主流的开源处理工具主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。 然而，这两个主流的处理方法都不能让人满意。Wikipedia Extractor提取出来的结果，会去掉{{}}标记的内容，这样会导致下面的情形 西方语言中“数学”（；）一词源自于古希腊语的（） 这是因为括号里的词带有{{}}标记，被清空了；而按照网上的教程，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值