“Ran out of input” while use WikiExtractor

最新推荐文章于 2023-09-24 18:53:27 发布
最新推荐文章于 2023-09-24 18:53:27 发布
阅读量267 收藏
点赞数
分类专栏： NLP 文章标签： python wikiextractor wikidump
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36605433/article/details/120515609
版权

当使用Wikipedia Extractor(GitHub - attardi/wikiextractor: A tool for extracting plain text from Wikipedia dumps)工具处理所下载的wiki dump文件(https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2)时，当我执行python命令：

python Wikiextractor.py -b 10M -o zh_extracted zhwiki-latest-pages-articles.xml.bz2

时，出现了

EOFError: Ran out of input

的错误。

经过百度和google，在wikidata - "EOFError: Ran out of input" while use Wikipedia Extractor as a parser for Wikipedia Data Dump File - Stack Overflow中找到了解决方法：可能是因为windows系统的stringIO问题导致，如果换用linux系统运行的话就不会有问题。

kaims
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Windows下维基百科中文语料库词向量训练
Jock的博客
04-16 1548
Windows下维基百科中文语料库词向量训练 Garbage in，garbage out. ​ 自然语言处理中，词向量的处理尤为重要。而生成词向量的好坏往往取决于语料库的训练，所以，语料库的选择十分重要。本文主要介绍维基百科中文语料库的训练过程。 文章目录Windows下维基百科中文语料库词向量训练下载抽取内容繁简转换去除标点符号分词训练词向量测试 下载 ​ 维基百科中文语料库下载链接：ht...
WikipediaExtractor 使用心得
tctjx的博客
09-30 3230
WikipediaExtractor 是python下一款解析wikipedia dump的利器。根据官网的介绍，只需一行即可抽取wikipedia dump的主要内容：bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -cb 250k -o extracted 但是个人在mac下使用时发现以上命
Windows 上下载并提取 Wikipedia
最新发布
qq_40734247的博客
09-24 305
因为容器里面是没有 wikiextractor 的，所以需要自己安装一下，也不用写一个 Dockerfile 来构建镜像了，那简直是浪费时间，反正你也就用一次。，以前我对这个东西是十分抗拒的，因为很多年以前它对 Windows 的支持并不好，但是今非昔比了，现在它和 WSL2 结合之后，真的成了一个十分有用的工具了！我下载的是 English Wikipedia，差不多 20 G，上面的 wiki_extract 是我自己建立的空目录，准备用来存放提取的文件的。
出现EOFError: Ran out of input的解决办法
weixin_45904997的博客
09-24 7700
​运行下面语句：for step, data in enumerate(dataset) 出现EOFError: Ran out of input的解决办法 ​
Python使用pickle模块报错EOFError Ran out of input的解决方法
09-20
然而，在使用pickle模块时，可能会遇到一些错误，其中EOFError: Ran out of input 是一个常见的问题。这个错误通常意味着在尝试反序列化数据时，输入文件或字节流提前结束了，无法找到预期的数据。 以下是一个详细...
O-RAN Use Cases and Deployment Scenarios Whitepaper
08-13
"O-RAN Use Cases and Deployment Scenarios Whitepaper"是O-RAN联盟发布的一份重要文档，旨在详细阐述O-RAN架构的应用场景和部署策略。 该白皮书首先概述了O-RAN架构带来的益处。O-RAN的核心理念在于打破传统的...
O-RAN.WG1.Use-Cases-Detailed-Specification-v04.00.pdf
04-13
O-RAN.WG1.Use-Cases-Detailed-Specification-v04.00.pdf
Conquerer of Toran-开源
04-27
Toran的Conquerer项目是一款实时的网络策略游戏。 游戏的目的是征服toran的世界，即征服许多城镇，同时其他玩家也征服。 它是可用于Win32 / X11的客户端-服务器体系结构。
（已解决）EOFError: Ran out of input
漫步量化
07-23 3万+
如图所示。 这个问题是因为pickle.load()读取的文件为空导致，加个容错： 《EOFError: Ran out of input》
wikiextractor:修改后的wikiextractor程序包可提取按类别过滤的Wikipedia数据
03-28
维基提取器 修改后的wikiextractor程序包可提取按类别过滤的Wikipedia数据 此包可用于从Wikipedia xml转储提取Wikitext。 每个Wikipedia页面都与一组预定义的类别相关联。 该软件包使您能够提取特定类别的页面，而不是提取整个Wikipedia数据。 ＃使用Git克隆并从wikiextractor文件夹上方的一级运行以下命令 python -m wikiextractor.WikiExtractor <Input xml> -o <Output> --ns <Category> 示例：用于提取与类别板球相关的所有页面 python -m wikiextractor.WikiExtractor enwiki-latest-pages-articles-multistream.xml.bz2 -o out_cricket -
EOFError: Ran out of input
CVer
01-30 3997
问题：使用pickle.load()加载pickle文件时候，报错如下截图之前存在问题的代码：with open(cache_file, 'rb') as f: gt_labels = pickle.load(f) return gt_labels 解决办法：if os.path.getsize(cache_file) &gt; 0: with open(cache_file, 'rb') a...
EOFError: Ran out of input 一种可能错误原因
邻空烟火
11-20 9673
今天在做大作业的时候，在进行pkl文件读写的时候遇到了这个报错。 明明已经写入pkl文件了，但想再load输出pkl文件中的内容的时候，突然就报错。 但最后排查了一下，原来是忘记加close()了，未关闭 fpkl 会导致后续再用 f 读取时无法获取pkl文件中的数据，上代码： import os import shutil import pickle import random name_map = {} path_pkl = "./idx.pkl" path_rgb = "./destpp
pickle.load的时候出现EOFError: Ran out of input
热门推荐
lwgkzl的博客
11-21 7万+
原因：load的文件为空，就会出现这种错误。 解决方案：1.如果是读取单个文件的话，一定要打开文件所在路径然后打开文件，查看文件是否为空。有可能之前不是空文件，但由于用pickle.load文件时需要打开文件操作，可能在这个过程中把文件内容清空了也未可知。 2.如果是批量操作文件的话，可以抛出异常，这样就不会影响整个程序的运行。 with open(filename, 'r...
python中用pickle打开文件报错：EOFError: Ran out of input
weixin_42074867的博客
03-14 7052
用pickle.dump()保存文件之后如果不关闭文件就会出现此错误 f=open('test.pkl','wb') pickle.dump(dict,f) f.close() #后面添加关闭就不会报错
Ran out of input
08-20
"Ran out of input"错误通常表示代码试图读取数据时已经到达了文件的末尾或者没有更多的输入可用。根据引用和引用的描述，这个错误可能有以下几种可能原因： 1. 在使用shelve库时，可能是因为输入数据不完整或者已经被读取完毕导致的。这时候可能需要检查输入数据是否正确并完整。 2. 在遍历testloader时，可能是因为数据加载器中的数据已经被全部读取完毕导致的。这时候需要确保数据加载器中仍然有数据可用。 3. 在打开文件时，可能是因为文件已经读取完毕或者文件被修改导致的。这时候可以尝试删除文件并重新运行程序。 综上所述，当出现"Ran out of input"错误时，需要检查输入数据的完整性，确保数据加载器中有可用的数据，并排除文件被修改的可能性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [python Ran out of input 异常解决](https://blog.csdn.net/jacke121/article/details/124225002)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [Python错误：Ran out of input解决办法](https://blog.csdn.net/weixin_43596804/article/details/121369608)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值