hadoop "File /user/<user>/input/conf/slaves could only be replicated to 0 nodes, instead of 1"问题及解决办

最新推荐文章于 2021-09-21 11:19:51 发布
最新推荐文章于 2021-09-21 11:19:51 发布
阅读量7k 收藏
点赞数 1
分类专栏： Hadoop Java Linux 文章标签： hadoop file user exception input null
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kongxx/article/details/6892675
版权
Java 同时被 3 个专栏收录
175 篇文章 1 订阅
订阅专栏
Linux
164 篇文章 1 订阅
订阅专栏
Hadoop
9 篇文章 0 订阅
订阅专栏

本文地址：http://blog.csdn.net/kongxx/article/details/6892675

安装hadoop的官方文档安装后，在伪分布式模式下运行

bin/hadoop fs -put conf input

出现以下异常

11/10/20 08:18:22 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/fkong/input/conf/slaves could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1417)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:596)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:523)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1383)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1379)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1377)
	at org.apache.hadoop.ipc.Client.call(Client.java:1030)
	at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:224)
	at $Proxy1.addBlock(Unknown Source)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
	at $Proxy1.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3104)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2975)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2255)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2446)
11/10/20 08:18:22 WARN hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
11/10/20 08:18:22 WARN hdfs.DFSClient: Could not get block locations. Source file "/user/fkong/input/conf/slaves" - Aborting...
put: java.io.IOException: File /user/fkong/input/conf/slaves could only be replicated to 0 nodes, instead of 1
11/10/20 08:18:22 ERROR hdfs.DFSClient: Exception closing file /user/fkong/input/conf/slaves : org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/fkong/input/conf/slaves could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1417)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:596)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:523)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1383)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1379)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1377)
org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/fkong/input/conf/slaves could only be replicated to 0 nodes, instead of 1
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1417)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:596)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:523)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1383)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1379)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1377)
	at org.apache.hadoop.ipc.Client.call(Client.java:1030)
	at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:224)
	at $Proxy1.addBlock(Unknown Source)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
	at $Proxy1.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3104)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2975)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2255)
	at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2446)
Exit 255
检查了一下发现是由于默认的hadoop.tmp.dir的路径为/tmp/hadoop-${user.name},而我的linux系统的/tmp目录文件系统的类型往往是Hadoop不支持的。所以这里就需要更改一下hadoop.tmp.dir的路径到别的地方，这里指定到hadoop的安装路径下的一个子目录。具体步骤如下：

1. 修改${HADOOP_HOME}/conf/core-site.xml文件，修改后文件内如如下：

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/data/fkong/hadoop-0.20.203.0/hadoop-${user.name}</value>
</property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
2. 重新启动hadoop的daemon 

$ bin/start-all.sh

3. 再次运行以下命令就不会再有异常出现了

$ bin/hadoop fs -put conf input

另外也有些别的情况会导致这个问题，具体可以参考Hadoop:could only be replicated to 0 nodes, instead





kongxx
关注
专栏目录
hadoop报错：could only be replicated to 0 nodes, instead of 1
ykblog.github.io
01-26 7904
错误 [root@hadoop test]# hadoop jar hadoop.jarcom.hadoop.hdfs.CopyToHDFS 14/01/26 10:20:00 WARN hdfs.DFSClient: DataStreamerException: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File/u
Hadoop配置：file could only be replicated to 0 nodes, instead of 1问题解决方法
DaviHao
05-11 1435
今天执行bin/hadoop fs -copyFromLocal /Users/hadoop/Weibo/input/FavoriteFile.txt /user/hadoop/FavoriteFile.txt时候碰到了以下问题： file “*********”could only be replicated to 0 nodes, instead of 1 然后check了一下dfsh
hadoop "File /user/<user>/input/conf/slaves could only be replicated to 0 nodes, instead of 1"问题及解决办...
new is I
10-21 86
本文地址：http://blog.csdn.net/kongxx/article/details/6892675 安装hadoop的官方文档安装后，在伪分布式模式下运行 bin/hadoop fs -put conf input 出现以下异常 11/10/20 08:18:22 WARN hdfs.DFSClient: DataStreamer Exception: org.apach...
File/ could only be replicated to 0 nodes instead ofminRepLication (=1) There are 0 datanode(s) run
kingxuexi的博客
02-17 3556
两种情况 1.datanode没启动起来。 执行太多次了hadoopnamenode –format，namenode节点上的hdfs-site.xml中dfs.namenode.name.dir指定的文件夹下的VERSION中的clusterID的值与datanode上的不一致。 把hdfs-site.xml中dfs.namenode.name.dir和dfs.datanode.data.
Hadoop:File xxx could only be replicated to 0 nodes, instead of 1
xhyzfl的专栏
10-19 5144
近几日，重新搭建Hadoop，原本以为搭建成功，start-all.sh没有问题，hadoop fs -mkdir xxx / 命令也没有问题，当然删除命令也没有问题。但是put命令就会出错，报错如下： [root@beth1 ~]# hadoop fs -put abc.txt / 11/10/18 19:27:03 WARN hdfs.DFSClient: DataStreamer Exc
Hadoop错误8_dfsadmin -report后livenodes为0 或 报错could only be replicated to 0 nodes, instead of 1
wang_zhenwei的博客
08-27 2365
题目中的两个描述相同，发生在Hadoop环境配置过程中， 首次初始化后，启动 sbin/start-dfs.sh sbin/start-yarn.sh 然后jps查看，namenode和datanode正常启动， 继续往下进行， sbin/stop-dfs.sh sbin/stop-yarn.sh 然后又正常关闭， 但是，继续验证是否配置成功时， bin/hdfs dfsa
Hadoop完全分布式搭建过程、maven和eclipse配置hadoop开发环境、配置Map/Reduce Locations、简单wordcount测试!
SnowJ666的博客
01-04 1591
** Hadoop完全分布式搭建 ** 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： ...
hdfs相关问题及解决方案归档
weixin_44976835的博客
08-26 2786
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
jupyter-notebook 以yarn模式运行出现的问题及解决
weixin_37353303的博客
11-21 2794
jupyter-notebook 以yarn模式运行的出现的问题及解决方法 之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。 在做之前找了书和博客来看，总是有各种各样的问题，无法成功。现在特记录一下过程： 这里一共有两个虚拟机，一个做master,一个做slave1 虚拟机slave1安装spark slave1之前已经安装了hadoop，并且可以成功进行Hadoop集群运算。这...
Hadoop HA集群配置问题记录
为了忘却的纪念
06-30 5458
打算用3个节点搭建一个HA 集群，规划如下 HA集群规划   NameNode DataNode JournalNode node1 是 是 是 ndoe2 是 是 是 node3   是 是 hdfs-site.xml配置如下 dfs.replication
Hadoop上传文件时报错： could only be replicated to 0 nodes instead of minReplication (=1).......
weixin_34236497的博客
08-17 622
问题 上传文件到Hadoop异常，报错信息如下： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/qn_log.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There ar...
Hadoop上传文件报错：could only be replicated to 0 nodes instead of minReplication (=1).
旧城以西的博客
09-21 1765
这里写自定义目录标题问题原因解决方法 问题 Hadoop上传文件报错详情 could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation 原因 一般是多次格式化namenode造成的 解决方法 查看Hadoop datanode.log信息 可见namenode cluste
hadoop异常“could only be replicated to 0 nodes, instead of 1” 解决
senvil的专栏
10-04 671
异常分析  “could only be replicated to 0 nodes, instead of 1”异常 错误检查： 1、看看namenode和datanode的namespaceid是否相同 2、看看磁盘空间是不是满了，不能备份了 解决方法 j将两个id改成一个，或者重新格式化集群。 删除data和tmp和namenode文件夹
运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) r...
weixin_30596735的博客
05-16 251
运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation. 解决方法： 1首先看一下dfs.replication的数目是否超过了datanode...
运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) r
大JAVA解决方案
12-16 2653
运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation. 运行时候报异常could only be replicated to 0 nodes in...
File***could only be replicated to 0 nodes instead of minReplication (=1)
热门推荐
chx3515的专栏
11-30 1万+
1、集群部署完成之后，测试上传文件至hdfs时，报出 File /user/hdfs_test.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1)的异常信息。 [hadoop@abcd08 chx]$ hadoop fs -put hdfs_test.txt /user 14/11
Hadoop拷贝文件到hdfs时出错:could only be replicated to 0 nodes, instead of 1
_木子_简单_
01-09 6372
在配置namenode和jobtracker的ip时使用的是localhost ，将这两个改成namenode以及jobtracker本机的实际ip后，问题得以解决 。 具体的原因我也不太明白 确保master（namenode） 、slaves（datanode）的防火墙已经关闭确保DFS空间的使用情况Hadoop默认的hadoop.tmp.dir的路径为/tmp/hadoop-${user.
hadoop could only be replicated to 0 nodes instead of 1 解决方法
dux++ 的专栏
07-04 6606
修改了replication后，执行hive语句报错如下： hive> select count(1) from weblog; Total MapReduce jobs = 1 Launching Job 1 out of 1 Number of reduce tasks determined at compile time: 1 In order to change the average
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值