HDFS白名单和黑名单机制

白名单

允许哪些机器可以加入到当前的HDFS集群中。

通过在hdfs-site.xml中配置dfs.hosts参数来指定白名单，dfs.hosts默认值为空，表示所有机器都可以加入集群中。

 

白名单配置和启动过程：

1、创建 dfs.hosts 文件，并添加白名单的主机名称，每行一个主机

文件路径在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下

2、在 hdfs-site.xml 配置文件中配置 dfs.hosts 属性

<property> 
    <name>dfs.hosts</name> 
    <value>/opt/module/hadoop-3.x.x/etc/hadoop/dfs.hosts</value> 
</property>

3、配置文件 dfs.hosts 和 hdfs-site.xml 同步到其他节点

4、刷新配置到NameNode节点中

hdfs dfsadmin -refreshNodes #命令

5、更新ResourceManager节点

yarn rmadmin -refreshNodes #命令

 

黑名单

禁止哪些机器加入到当前HDFS集群中。

通过配置hdfs-site.xml中的dfs.hosts.exclude参数来指定黑名单，默认值为空。

 

黑名单配置和启动过程：

1、创建 dfs.hosts.exclude 文件，并添加白名单的主机名称，每行一个主机

文件路径在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下

2、在 hdfs-site.xml 配置文件中配置 dfs.hosts.exclude 属性

<property> 
    <name>dfs.hosts.exclude</name> 
    <value>/opt/module/hadoop-3.x.x/etc/hadoop/dfs.hosts.exclude</value> 
</property>

3、配置文件 dfs.hosts.exclude 和 hdfs-site.xml 同步到其他节点

4、刷新配置到NameNode节点中

hdfs dfsadmin -refreshNodes #命令

5、更新ResourceManager节点

yarn rmadmin -refreshNodes #命令