在配置hadoop集群时容易遗忘和疏漏的几点:

在配置Hadoop集群时,关键问题包括:1)去除`hadoop.tmp.dir`中的`file:`以避免初始化namenode错误;2)确保子节点的Hadoop文件具有正确权限,如使用`chmod-Ra+w`命令;3)解决启动时因权限导致的目录创建失败,需用`chown-R`命令变更目录所有者。这些步骤对成功初始化和启动集群至关重要。
摘要由CSDN通过智能技术生成

在配置hadoop集群时容易遗忘和疏漏的几点:

1.为避免在初始化namenode时出现error:
ERROR namenode.NameNode: Failed to start namenode.
java.lang.IllegalArgumentException: URI has an authority component

在编写core-site.xml时,最好将hadoop.tmp.dir value中的file:去掉:

2. 始化时出现子节点无法创建目录问题:
java.io.IOException: Cannot create directory /usr/local/hadoop/hdfs/name/current

我们要注意将子节点的hadoop文件权限调整为-R a+w

 sudo chmod -R a+w /usr/local/hadoop

> (file地址为你自己配置的HADOOP_HOME的绝对路径)

若其余流程未出问题 那么初始化时应该不会出现异常

3. 在启动集群时容易忽视的权限问题:

Slave1: mkdir: cannot create directory ‘/usr/local/hadoop/logs’: Permission denied

在子节点进行:

 sudo chown -R 用户名 HADOOP_HOME的绝对路径
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值