Hadoop笔记11之 Hadoop异常 hdfs.DFSClient(hdfs 不能上传文件)

最新推荐文章于 2024-05-22 16:48:28 发布
最新推荐文章于 2024-05-22 16:48:28 发布
阅读量2k 收藏 1
点赞数
分类专栏： MR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoshunzi111/article/details/48392879
版权

问题:

无法将问文件上传到HDFS集群中,报错如图:


异常分析:

上图所示,说明Hadoop集群中没有datanode结点即是即是slave中datanode没有被启动,

解决方式:

当打datanode无法正常启动时,修改master  中

vim /home/zkpk/hadoopdata/dfs/name/current/VERSION (不同虚拟机路径可能不同)
拷贝clusterID到slave中clusterID

vim /home/zkpk/hadoopdata/dfs/data/current/VERSION

重新启动datanode(在slave中单步启动)


IT菜籽U
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总
zwan0518的专栏
06-24 5405
在hadoop启动的时候，会出现各种各样的问题，NameNode，JobTracker等各个模块都会有莫名奇妙的问题出现，在这里对hdfs的问题进行一下简单的记录 1：HDFS initialized but not 'healthy' yet, waiting... 这个日志会在启动hadoop的时候在JobTracker的log日志文件中出现，在这里就是hdfs出现问题，导致DataNod
我遇到的使用python hdfs api连接Hadoop发生hdfserror
teruha的博客
07-18 409
做个记录，方便自己以后查看 Hadoop的Python api貌似有好几个，我一开始使用的是 hdfscli api （hdfs api地址），在查看Hadoop目录文件没什么问题，不过上传文件、删除文件怎么都不成功，应该是身份认证的问题。在查阅了资料后，改了Hadoop的 core-site.xml 和 hadoop-policy.xml 两个配置文件。结果还是不行，没办法，我就换成了 pyhdfs 。不过查看Hadoop文件的api我依然使用的是 hdfscli ,一开始没啥问题。但是，当我重启电脑.
[Hadoop] DFSClient: Could not complete file ...
芒果先生Mango的专栏
04-03 5825
dir1目录下有上千个小文件,通过脚本将hdfs中目录dir1中的内容拷贝到dir2中时,报错： INFO hdfs.DFSClient: Could not complete file /test/input/myuba/uba320-329/University327_12.owl.N-Triple retrying... 原因是脚本执行时，我在ecliplse的DFS插件
解决hdfs中没有权限上传文件的问题
最新发布
m0_63602484的博客
05-22 146
（在/usr/local/hadoop/etc/hadoop目录下,找到hdfs-site.xml文件，打开之后将下述代码写入<configuration> </configuration>代码块中）（这里我是要将class1.txt文件上传到/user/hadoop目录下，所以需要给/user/hadoop赋予权限，777代表最高权限）
ERROR hdfs.DFSClient: Failed to close file解决方法
weixin_30699235的博客
04-11 2389
14/04/11 17:59:44 ERROR hdfs.DFSClient: Failed to close file /wlan_out/_temporary/_attempt_local_0001_r_000000_0/part-r-00000org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.nameno...
Hadoop-HDFS DFSClient的严重bug
Developing Hadoop-based applications
03-30 225
上一篇说到Shell 对自身DN造成的性能影响，本篇说一下它对DFSClient的冲击。 不知道有没有朋友像我这样病态的使用Hadoop， 我的DFSClient总是一直Running的，因为我需要它时刻为我做事，所以我不会轻意重新创建一个与NN相连的DFSClient。 闲言少述。 Shell 的执行对正在put文件的客户端会产生下列异常： 1. DataStreamer Ex...
File does not exist: hdfs://xxx:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.3.2-mr-framewo
前方的路在刚开始
08-06 1076
先用cdh安装yarn的mapredce的jar,然后在看看是不是时间问题，原因是0.5秒同步一次心跳，我其中一台节点，是在其他地方，所以网速不好。
Java访问Hadoop分布式文件系统HDFS的配置说明
09-02
在Java中访问Hadoop分布式文件系统（HDFS）是一项关键任务，特别是在开发分布式应用程序时。Hadoop是一个开源框架，设计用于处理和存储大量数据，它提供了高吞吐量的数据访问能力，尤其适合集群服务器环境。以下是一...
windows上传文件到虚拟机的hdfs上
01-07
今天在windows连接虚拟机的hdfs，通过IDEA上传文件到虚拟机的hdfs上，出现了权限不足问题，原因是以windows的用户上传文件，所以出错，原代码如下： package cn.edu.lingnan.hdfsclient; import org.apache.hadoop....
Python API 操作Hadoop hdfs详解
01-20
1：安装 由于是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的 ...classhdfs.client.Client(url, root=None, proxy=None, timeout=None, session=None) url：ip：端
hdfs源码.zip
07-14
5．3．3 DFSClient短路读操作流程 488 5．3．4 Datanode短路读操作流程 509 5．4 文件写操作与输出流 512 5．4．1 创建文件 512 5．4．2 写操作――DFSOutputStream实现 516 5．4．3 追加写操作 543 5．4．4 租约...
HDFS中javaAPI创建文件写入内容报错：INFO hdfs.DFSClient: Exception in createBlockOutputStream
登峰造极胡子球手
11-11 3595
19/11/11 20:33:26 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Na...
hadoop开发：HDFS上传文件失败原因
崔向阳@李晓的博客
12-02 7765
执行[grid@hadoop001 hadoop-1.1.2]$ bin/hadoop fs -put ../input/* ./in提示： 13/08/11 18:33:58 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ip c.RemoteException: java.io.IOExce
client 操作hdfs
张斌斌的博客
07-18 3470
1.构建环境 去除编译文件share目录下所有xxxsources.jar和xxxtests.jar，将剩下的jar copy到eclispe中 2.配置hadoop环境变量 注：测试hadoop-version报错，jdk为默认路径下，需修改hadoop-env.cmd下 set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8...
Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析
张伯毅的专栏
08-30 8527
一.前言 FileSystem这个类是最常用的类,因为只要是我们想连接HDFS进行一些操作,程序的入口必定是它.接下来,我们通过FileSystem来分析一下,本地代码是如何通过FileSystem连接上hadoop并且读取数据的. 二.代码示例 由于我要连接的集群是一个配置HA的hadoop集群,所有我需要把core-site.xml 和hdfs-site.xml 文件放到resources目录中. java代码: public static void main(String[]..
hadoop异常
weixin_33982670的博客
03-13 225
1. org.apache.pig.backend.executionengine.ExecException: ERROR 4010: Cannot find hadoop configurations in classpath (neither hadoop-site.xml nor core-site.xml was found in the classpath).If you plan t...
tensorflow 分布式结合hdfs 报错：No lease on File does not exist. Holder DFSClient_NONMAPREDUCE
bymain的博客
04-15 5122
tensorflow 分布式脚本启动方式： https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/hadoop.md 在分布式程序执行代码中使用multiprocessing 分别启动ps， master， worker multiprocessing.Process(target=star...
hadoop常见错误及处理方法
willorfang的学习专栏
03-08 1624
1、hadoop-root-datanode-master.log 中有如下错误： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 导致datanode启动不了。 原因:每次namenode format会重新创建一个namen
error [org.apache.hadoop.hdfs.dfsclient] - failed to close inode 16404
05-14
这个错误可能是由于HDFS客户端无法成功关闭inode（索引节点）所导致的。可能的原因包括网络问题、文件系统问题、磁盘故障等。解决这个问题的方法取决于具体情况，可以尝试以下几个步骤： 1. 检查网络连接是否正常，尝试重启网络或更换网络设备。 2. 检查文件系统是否正常，可以使用fsck命令进行检查和修复。 3. 检查磁盘是否正常，可以使用SMART工具进行检查，并及时更换故障磁盘。 4. 尝试升级Hadoop版本或更换其他文件系统，如Ceph、GlusterFS等。 5. 如果以上方法均无效，可以尝试联系Hadoop社区或厂商技术支持进行进一步排查和解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值