hadoop遇到的问题记录

最新推荐文章于 2022-09-13 19:20:56 发布
最新推荐文章于 2022-09-13 19:20:56 发布
阅读量1.7w 收藏 6
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wfp458113181wfp/article/details/8611218
版权
本文记录了在使用Hadoop过程中遇到的一些问题，包括JobTracker启动异常、HDFS操作失败、MapReduce作业执行中出现的错误，如shuffle阶段fetch#1错误、output文件已存在等问题，以及DiskErrorException的具体信息，旨在帮助开发者诊断并解决Hadoop集群运行中的常见故障。
摘要由CSDN通过智能技术生成

1、jobtracker启动不正常报错、hdfs无法使用(比如执行一个操作文件命令就报错：only be replicated to 0 nodes, instead of 1）

 2012-07-23 00:00:05,244 WARN     org.apache.hadoop.mapred.JobTracker: Retrying...
   2 2012-07-23 00:00:05,266 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: java.io.IOException: File /tmp/hadoop-root/mapred/system/jobtracker.info cou     ld only be replicated to 0 nodes, instead of 1
2012-07-23 00:00:05,267 WARN org.apache.hadoop.mapred.JobTracker: Writing to file hdfs://127.0.0.1:9000/tmp/hadoop-root/mapred/system/jobtracker.info failed!
  30 2012-07-23 00:00:05,268 WARN org.apache.hadoop.mapred.JobTracker: FileSystem is not ready yet!
  31 2012-07-23 00:00:05,271 WARN org.apache.hadoop.mapred.JobTracker: Failed to initialize recovery manager.
我的问题分析：当时也在网上找解决办法，有人就这个报错日志：only be replicated to 0 nodes, instead of 1给出了几个可能的原因，1、由于多次格式化，重启导致namenode和datanode的信息不一致；2、namenode和datdanode建立连接需要等一段时间，说白了就是等一会儿 ；3、没有写文件权限（但是我查看日志都是root最高权限）4、磁盘空间不足
后来我试了多种办法（格式化重启、离开safemode、等一段时间）但是都没法解决，后来自己耐下
最低0.47元/天 解锁文章
wfp458113181wfp
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop遇到的问题
04-20 1532
装好hadoop，但是一直出现问题，总结如下： 排错到现在，最大的感觉是，也许你的错误表象跟网上说的一样，但是解决方法会大有不同，只能说这种错误是同一问题（如namenode出错）导致，但是究竟是什么行为导致这个问题，每个人也许都不相同，所以重点是找到自己的操作时的错误所在. 1.Too many fetch-failures错误 问题介绍：http://blog.csdn.net/
Windows系统调试Hadoop-MapReduce程序问题（一）
扛着锄头的码农
03-20 954
Windows系统调试Hadoop-MapReduce程序问题（一） 一、编译时出现NativeIO问题 2020-03-19 15:57:19 [ INFO] - org.apache.hadoop.mapreduce.JobSubmitter -JobSubmitter.java(249) -Cleaning up the staging area file:/opt/bigdata/hado...
HiveServer遇到一个问题
探索技术世界
05-12 1091
  基于给开发同学使用与BI用户使用的需求，打算开启HiveServer2服务，集群上面的Hive任务执行、调度，都走HiveServer2方式。之前只有调度任务与开发同学使用，所以使用的是Hive CLI方式，开发同学没有添加权限控制。   使用一段时间之后，发现HiveServer2存在各种问题。突出的问题就是不稳定、运行日志很难获取、任务ID需要解析等，最近遇到一个概率性出现的问题。 I...
windows 下 MyEclipse 运行hadoop 出错
伏虎游侠的博客
05-31 1273
信息: Cleaning up the staging area file:/tmp/hadoop-huan.liu/mapred/staging/huan.liu-789127983/.staging/job_local_0004 java.lang.RuntimeException: Error while running command to get file permissions :
Hadoop使用学习笔记（5）
热门推荐
hashcon
08-08 2万+
Hadoop使用学习笔记 3. Map-Reduce本地调试全程Debug（上） 将之前的项目中的Resource中的除了log4j配置其他的文件全部删除。同时，添加本地库（就是之前从集群中拷贝下来的Hadoop文件夹），添加其目录下的share/hadoop中的所有文件作为一个library，如下所示： 之后，注释掉删除/test/ouput那一行代码，因为本地运行无法这样删除
hadoop本地任务运行过程报临时文件找不到问题排查
雷雨中的双桅船
01-11 1万+
10个节点的Hadoop集群在使用mahout做大量的数据分析一段时间后，开始报如下错误： [2015-12-31 10:07:31,440] [INFO ] pool-5-thread-3 SparseVectorsFromSequenceFiles - Maximum n-gram size is: 1 [2015-12-31 10:07:31,440] [INFO ] pool-5-thr
成功安装-安装hadoop遇到的问题
08-14
这篇博文"成功安装-安装hadoop遇到的问题"可能提供了一些在实际操作中可能会遇到的难点和解决方案。虽然没有具体的描述内容，但我们可以根据常见的安装问题进行深入探讨。 首先，Hadoop的安装通常涉及到以下几个...
hadoop安装记录
04-21
虽然描述部分为空，但我们可以从“博文链接”推测这是一篇关于个人或作者在实际操作中记录Hadoop安装步骤的文章，可能包含了遇到的问题、解决方案以及注意事项。 【标签】：“源码 工具” 这里的“源码”标签可能...
基于hadoop计算机平均分
12-29
实训报告.docx很可能是项目执行过程的详细记录，包括了项目背景、目标、实现步骤、遇到的问题及解决方案等。这份文档可以帮助读者了解项目实施的具体细节，以及在实际操作中可能遇到的挑战。 6.实训答辩PPT.pptx...
Hadoop 分析统计学生考试成绩1
08-08
* hadoop.log：日志记录文件 * database.sql：建立数据库的脚本 * input：格式化后的 Hadoop 的输入文件 * output：输出文件 * raw：存放原始数据的文件夹 三、代码文件说明 主要的项目代码文件包括： * src/main...
hadoop插件
11-28
在Windows上安装和配置Hadoop时，通常需要解决几个关键问题，比如Java环境的设置、环境变量的配置、WinUtils的获取以及Hadoop配置文件的调整。这些文件的提供意味着用户可以直接使用，而无需从源码编译或寻找兼容的...
Map reduce 报错 Can not create a Path from an empty string
qq_18457725的博客
09-06 2724
14:52:27.245 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Cleaning up the staging area file:/tmp/hadoop-啊/mapred/staging/281825147/.staging/job_local281825147_0001 Exception in thread "main"...
【Hadoop】学习笔记（五）
lushixuan12345的博客
09-13 336
【Hadoop】学习笔记（五）
Linux下搭建Hadoop遇到的未知的名称或服务错误
lu_dashi的专栏
12-01 3523
出现的错误如下： 14/12/01 22:15:38 INFO util.NativeCodeLoader: Loaded the native-hadoop library 14/12/01 22:15:39 INFO mapred.JobClient: Cleaning up the staging area file:/tmp/hadoop-root/mapred/staging/roo
Hadoop运行报错，进入安全模式
小松鼠的博客
10-25 4369
在Hadoop运行时报如下错误： 18/10/24 03:16:30 INFO client.RMProxy: Connecting to ResourceManager at hdp-node-01/192.168.186.101:8032 18/10/24 03:16:32 INFO mapreduce.JobSubmitter: Cleaning up the staging area ...
myeclipse配置hadoop开发环境,及遇到问题解决
曹世超的专栏
11-12 1万+
eclipse版本：eclipse-jee-indigo-SR2-win32   1、安装Hadoop开发插件      hadoop安装包contrib/目录下有个插件hadoop-1.2.1-eclipse-plugin.jar，拷贝到eclipse根目录下/dropins目录下。 2、 启动eclipse，打开Perspective： 【Window】->【Open Persp
eclipse中配置hadoop开发环境-----删除之前版本的hadoop插件、编译hadoop eclipse插件、安装插件、eclipse下运行hadoop程序
wfp458113181wfp的专栏
02-24 3086
一、删除hadoop插件（如果你已经装一个hadoop版本相应的插件） 1、到eclipse安装目录下的\plugins文件夹中刷出 hadoop的插件 2、删除到eclipse安装目录下的\configuration\org.eclipse.update文件夹 3、启动eclipse 4、如果左上角有map/reduce图标，点击---> close 5、关闭eclipse，删除到ec
Hadoop数据清洗中遇到的问题
最新发布
06-07
在Hadoop大数据清洗过程中，可能会遇到以下几个常见问题： 1. 数据质量问题：Hadoop处理的是海量数据，原始数据可能包含格式不一致、缺失值、异常值、重复记录或噪声等问题。清洗时需要识别并处理这些问题。 2. 数据导入和转换错误：Hadoop MapReduce模型下，数据从源系统导入HDFS时可能出现格式不匹配、性能瓶颈（如数据文件过大）等问题。 3. 并行处理挑战：Hadoop的设计假设数据是分布式的，但在大规模并行处理时，如果任务分配不当，可能会导致某些节点资源闲置或过载。 4. 分布式环境中的状态管理：Hadoop JobTracker可能因为网络故障或单点失效影响数据清洗流程的连续性。 5. 性能优化：清洗过程中的连接操作、复杂查询等可能消耗大量计算资源，需要合理设计算法和优化代码以提高效率。 6. 安全性和隐私：处理敏感数据时，需要遵循相应的数据保护法规，确保数据在清洗过程中不被非法访问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值