Hadoop组件学习(二)——属性与安全性

1、Hadoop的部分属性

2、Hadoop的安全性

Hadoop的部分属性

    1、委任和解除节点

    Hadoop集群的管理员经常需要向集群中添加节点或从集群中移除节点。例如，为了扩大存储容量，需要委任节点；相反的，如果想要缩小集群规模或节点表现反常，例如故障率过高或者性能过低，则需要解除该节点。

    委任新节点

    include文件说明：允许连接到namenode的所有datanode放在一个文件中，文件名称有dfs.hosts属性指定。该文件放在namenode的本地文件系统中，每行对应一个datanode的网络地址，如果需要为一个datanode指定多个网络地址，可将多个网络地址放在一行，由空格隔开；类似的，连接到资源管理器的各个节点管理器也在同一个文件中指定，该文件的名称由yarn.resourcemanager.nodes.include-path属性指定。通常情况下，由于集群中的节点同时运行datanode和节点管理器守护进程，dfs.hosts和yarn.resourcemanager.nodes.include-path会同时指向一个文件，即include文件。

    向集群添加新节点的步骤如下：

        (1) 将新节点的网络地址添加到include文件中

        (2) 运行 %hdfs dfsadmin -refreshNodes 指令，将审核过的一系列datanode集合更新至namenode信息

        (3) 运行 %yarn rmadmin -refreshNodes 指令，将审核过的一系列节点管理器信息更新至资源管理器

        (4) 将新节点更新slaves文件中，这样的话，Hadoop控制脚本会将新节点包括在文件操作之中

        (5) 启动新的datanode和节点管理器

        (6) 检查新的datanode和节点管理器是否都出现在网页界面中

    同时，HDFS不会自动将块从旧的datanode移到新的datanode以平衡集群，用户需要自行运行均衡器。

    解除旧节点

    解除节点的过程由exclude文件控制，对于HDFS来说，文件由dfs.hosts.exclude属性设置；对于YARN来说，文件由yarn.resourcemanager.nodes.exclude-path属性设置。这些文件列出若干未被允许连接到集群的节点，通常，这两个属性指向同一个文件。

    从集群中移除节点的步骤如下：

        (1) 将待解除节点的网络地址添加到exclude文件中，不更新include文件

        (2) 运行 %hdfs dfsadmin -refreshNodes 指令，将审核过的一系列datanode集合更新至namenode信息

        (3) 运行 %yarn rmadmin -refreshNodes 指令，将审核过的一系列节点管理器信息更新至资源管理器

        (4) 转到网页界面，查看待解除datanode的管理状态是