hadoop(4)Hdfs文件 常用配置

本文详细介绍了Hadoop HDFS的高可用配置,包括dfs.nameservices、dfs.ha.namenodes、dfs.namenode.rpc-address等关键参数的设置,以及ha.zookeeper.quorum、dfs.permissions.enabled等,确保HDFS的故障转移和安全性。建议开启权限检查和自动故障转移功能。
摘要由CSDN通过智能技术生成

配置参数:

1、dfs.nameservices

说明:为namenode集群定义一个services name

默认值:null

比如设置为:ns1

2、dfs.ha.namenodes.<dfs.nameservices>

说明:nameservice 包含哪些namenode,为各个namenode起名

默认值:null

比如设置为nn1, nn2

3、dfs.namenode.rpc-address.ns1.nn1

说明:名为nn1的namenode 的rpc地址和端口号,rpc用来和datanode通讯

默认值:9000,可以设置为8020

如何设置:host:port

4、dfs.namenode.http-address.ns1.nn1

说明:名为nn1的namenode 的http地址和端口号,web客户端 

默认值:50070

如何设置:host:port

 

5、dfs.namenode.shared.edits.dir

说明:namenode间用于共享编辑日志的journal节点列表

示例:qjournal://master:8485;slave1:8485;slave2:8485/ns1

 

6、dfs.journalnode.edits.dir

说明:journalnode 上用于存放edits日志的目录

默认值:/tmp/hadoop/dfs/journalnode/

 

7、dfs.client.failover.proxy.provider.ns1

说明:客户端连接可用状态的NameNode所用的代理类

默认值:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

 

8、dfs.ha.fencing.methods

说明:HDFS的HA功能的防脑裂方法。可以是内建的方法(例如shell和sshfence)或者用户定义的方法。
建议使用sshfence(hadoop:9922),括号内的是用户名和端口,注意,这需要NN的2台机器之间能够免密码登陆
f

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值