java fs.default.name_fs.default.name和fs.defaultFS

在hadoop的配置文件 core-site.xml中,需要设置 fs.default.name 或 fs.defaultFS ,具体应该使用哪一个,会造什么样的错误,需要在实际操作中去验证。官网有下面这段描述

We need to have only one of the two (fs.default.name or fs.defaultFS, and the former is deprecated). If both are present then NN HA will be enabled/disabled based on what is read first.

Following is description from NN HA in Apache docs:

fs.defaultFS - the default path prefix used by the Hadoop FS client when none is given.

Optionally, you may now configure the default path for Hadoop clients to use the new HA-enabled logical URI. If you used "mycluster" as the nameservice ID earlier, this will be the value of the authority portion of all of your HDFS paths. This may be configured like so, in your core-site.xml file:

fs.defaultFS

hdfs://mycluster

从文档中可以看出,使用 fs.default.name 还是 使用 fs.defaultFS ,要首先判断是否开启了 NN 的HA (namenode 的 highavaliable),如果开启了nn ha,那么就用fs.defaultFS,在单一namenode的情况下,就用 fs.default.name , 如果在单一namenode节点的情况使用 fs.defaultFS ,系统将报

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.

java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:471)

at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:461)

at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:512)

at org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:612)

at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:632)

at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:811)

at org.apache.hadoop.hdfs.server.namenode.NameNode.(NameNode.java:795)

at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1488)

at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1554)

INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1

INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:

————————————————

版权声明:本文为CSDN博主「lepton126」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/lepton126/article/details/88327205

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值