File xxxxx/in/part0 could only be written to 0 of the 1 minReplication nodes. There are 0 datanode。。

错误信息:

File /user/root/QuasiMonteCarlo_1710600975430_727348862/in/part0 could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and 0 node(s) are excluded in this operation.

集群规划:
在这里插入图片描述
只规划了两个Datanode,这是最近看到学校老师文档的规划,简陋教学版。
在执行测试MapReduce命令的时候出现这个错误
测试命令如下:

hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 10 10

计算一个π的值,并使用10个映射任务和10个归约任务来估算π的值。
运行出错。
经过排查日志和百度总结了一个解决问题的办法就是给NameNode所在的节点增加DataNode。

vim hdfs-site.xml

副本数从2改为3

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

然后修改vim workers 在里面添加master节点
在这里插入图片描述

修改完毕hdfs-site.xml和workers 一定要分发到其他节点。

然后重启集群 重新执行就出结果了

虽然还没有弄清楚其中的底层关系,命令本身并不直接与 DataNode 交互,但当该 MapReduce 作业运行时,它会利用 DataNode 来存储和检索数据,从而实现分布式计算。有知道的可以评论让小弟长长知识。

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值