Nutch org.apache.hadoop.util.DiskChecker$DiskErrorException

最新推荐文章于 2021-01-03 16:17:52 发布
最新推荐文章于 2021-01-03 16:17:52 发布
阅读量3.7k 收藏
点赞数
分类专栏： web 文章标签： generator hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyzhang87/article/details/6596024
版权
在使用Nutch抓取数据时遇到错误，问题根源在于Hadoop填满了/tmp目录。删除/tmp/hadoop-root/mapred文件夹后，错误得以解决，确保了后续运行的正常。
摘要由CSDN通过智能技术生成

今天在用nutch抓数据是总是报错：

> org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local
directory for taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000000_0/output/spill0.out
>         at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:335)
>         at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:124)
>         at org.apache.hadoop.mapred.MapOutputFile.getSpillFileForWrite(MapOutputFile.java:107)
>         at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.sortAndSpill(MapTask.java:930)
>         at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:842)
>         at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
>         at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:138)
> 2011-07-10 19:02:25,778 FATAL crawl.Generator - Generator: java.io.IOException: Job f
最低0.47元/天 解锁文章
lyzhang87
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop-utils:hadoop实用程序
07-01
hadoop-utils hadoop实用程序
Datanode节点一块硬盘故障处理
TURING.DT
04-13 7198
今天一台服务器 datanode服务自动停止了，查看datanode  log发现如下报错： org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volumes failed: 1, v
hadoop错误org.apache.hadoop.util.DiskChecker$DiskErrorException Could not find any valid local directo...
10-08 1616
错误： org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for 原因： 两种可能，hadoop.tmp.dir或者data目录存储空间不足 解决办法： 看了一下我的dfs状态，data使用率不到40%，所以推测是...
Hadoop执行Job时报DiskChecker$DiskErrorException异常原因
smallnetvisitor的博客
05-07 1184
版本：   $ hadoop version Hadoop 0.20.2-cdh3u4 Subversion git://ubuntu-slave01/var/lib/jenkins/workspace/CDH3u4-Full-RC/build/cdh3/hadoop20/0.20.2-cdh3u4/source -r 214dd731e3bdb687cb55988d3f47dd9e2...
Flink项目开发、上线全流程报错集合加处理办法（持续更新，附原因解决办法）
weixin_42642502的博客
09-27 4335
1、由于自己启动任务用的是root用户、未使用FlinkProject 用户产生以下报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. (JobID: 9ebe0758cd287126758d57b15fb5e5a3) at org.apache.flink.client.program.rest.RestClusterClient.submitJob
异常 Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local
_木子_简单_
12-04 3511
查看你的配置文件，找到mapred.local.dir这个参数，查看这个参数对应的文件夹的状态，如容量，可读性等 设置mapred-site.xml property> name>mapred.local.dirname> value>/data/hadoop/mapred/localvalue> property> mapred.l
遇到问题--hadoop--DiskErrorException:Could not find any valid local directory for
直到世界的尽头
03-23 2848
情况 我们在运行importTsv命令时执行mapreduce，在output阶段报错org.apache.hadoop.util.DiskChecker$DiskErrorException:Could not find any valid local directory for。 完整报错如下: 2018-03-22 10:34:12,001 INFO [LocalJobRunne...
apache-nutch-1.3-src.tar.gz_nutch_nutch-1.3.tar.gz
09-24
Apache Nutch 是一个开源的网络爬虫项目，用于抓取互联网上的网页并建立索引，以便进行全文搜索。Nutch 1.3 是该项目的一个稳定版本，提供了许多关键功能和改进。这个源码包 "apache-nutch-1.3-src.tar.gz" 和 ...
hadoop-2.6.5.tar.gz.rar
03-15
由Apache Lucene创始人Doug Cutting创建的，Lucene是一个应用广泛的文本搜索系统库。Hadoop起源于开源的网络搜索引擎Apache Nutch，它诞生之初是作为Luncene项目的一个重要核心组成部分。内容：Hadoop2.6.5
nutch2.1缺少包org.restlet.ext.jackson.jar
06-14
nutch2.1导入Eclipse过程中，import org.restlet.×;错误，缺少的包。
nutch2.x的pom文件
09-30
nutch2.x官方的pom文件有问题，这是修改后的
Apache Nutch 网络爬虫.rar
最新发布
07-04
Nutch是一个开源的网络爬虫框架，由Apache基金会开发和维护。它能够高效地抓取并处理海量数据，并提供了丰富的插件来支持各种数据源和处理方式。由于其高度可定制化和易于扩展的特性，Nutch被广泛应用于搜索引擎、...
Hadoop常见错误及解决办法汇总
染指泪的专栏
06-29 1308
错误一：Java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后 ' V0 h# C5 a8 o+ ^1 n * w- t  k( ]$ }+ p6 d  G2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: I
hadoop 存储空间满了
weixin_34077371的博客
09-09 794
2014-09-09 17:25:44,040 WARN mapred.LocalJobRunner - job_local_0001 org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find any valid local directory for taskTracker/jobcache/job_loc...
Hadoop3.1.4（apache发行版）HA搭建时遇到的问题及解决方案
程研板的博客
01-03 1044
目录一.端口占用问题二.权限问题三.缺包或找不到主类问题四.目录变文件问题五.java空指针问题 主要参照的两篇博客： Hadoop3.2.0使用详解. hadoop3.1.0 HA高可用完全分布式集群的安装部署（详细教程）. 一.端口占用问题 2021-01-02 19:16:35,007 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping JournalNode metrics system... 2021-01-02 19:
【错误处理】Could not find any valid local directory for xxxx
victorzzzz的专栏
04-21 2117
Could not find any valid local directory for xxxx 经过分析查询，是本地hadoop.tmp.dir或者最终输出data目录存储空间不足造成的。删除/tmp目录下的文件再次执行，执行成功！ ...
Yarn报错：Could not find any valid local directory for nmPrivate/
qq_35382207的博客
12-04 910
原因： yarn.nodemanager.local-dirs和hadoop的hadoop.tmp.dir参数对应文件位置不一致解决办法： 将hdfs-site.xml中hadoop.tmp.dir属性和yarn-site.xml中的yarn.nodemanager.local-dirs属性设置为相同路径 示例 hdfs-site.xml <property> <name>h...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值