Hadoop生产调优(个人总结)

最新推荐文章于 2023-11-21 17:31:58 发布

hellosrc2023

最新推荐文章于 2023-11-21 17:31:58 发布

阅读量1.6k

点赞数

分类专栏：大数据 Hadoop 文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/weixin_46141936/article/details/121284528

版权

大数据同时被 2 个专栏收录

39 篇文章 11 订阅

订阅专栏

Hadoop

4 篇文章 0 订阅

订阅专栏

    声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章
              2. 由于是个人总结, 所以用最精简的话语来写文章
              3. 若有错误不当之处, 请指出

服役新节点:

新增hadoop105

# 启动DataNode
hdfs --daemon start datanode
# 启动NodeManager
sbin/yarn-daemon.sh start nodemanager
# 实现集群的数据平衡(这段时间其它工作会被阻塞)
./start-balancer.sh

退役节点:

退役hadoop105

一: 设置白名单法

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出

配置白名单的具体步骤:

在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts文件

编写: (别写hadoop105)

hadoop102

hadoop103

hadoop104
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
	<name>dfs.hosts</name>
	<value>/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts</value>
</property>
配置文件xsync分发
刷新NameNode
hdfs dfsadmin -refreshNodes
刷新ResourceManager
yarn rmadmin -refreshNodes

二: 设置黑名单法

在黑名单上面的主机都会被强制退出

配置黑名单的具体步骤:

在NameNode的/opt/module/hadoop-3.1.3/etc/hadoop目录下创建dfs.hosts.exclude文件

添加如下主机名称（要退役的节点）

hadoop105
在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property>
<name>dfs.hosts.exclude</name>
      <value>/opt/module/hadoop-3.1.3/etc/hadoop/dfs.hosts.exclude</value>
</property>
xsync分化配置文件和 dfs.hosts.exclude文件
刷新NameNode
hdfs dfsadmin -refreshNodes
刷新ResourceManager
yarn rmadmin -refreshNodes
注意:

不允许白名单和黑名单中同时出现相同的主机名称

等待退役节点状态为decommissioned(所有块已经复制完成), 才停掉该节点

注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

NameNode多目录配置(是副本):

hdfs-site.xml

<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>

DataNode多目录配置(不是副本):

hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/data1, file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>