HDFS集群扩容详解

随着公司的业务越来越多,HDFS文件系统需要的资源也会越来越多,当现有集群不能使用的时候,我们就要要给集群扩容,增加新的节点到集群中,下面我们就来讲解一下添加新集群的步骤

1.添加一个新的节点

1.配置mac地址
2.配置ip
3.关闭防火墙与关机自启
4.关闭selinux
5.设置主机名
6.重启
7.设置hosts文件
8.设置无密码登录
9.配置JDK
10.安装hadoop

2.在主节点中拷贝所有的hadoop配置文件到新的节点

scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/* node12:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

3.在主节点中设置白名单配置文件

touch /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts
vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts

• 将以下内容添加到文件中

4.在主节点添加配置到hdfs-site.xml中

• 添加到hdfs-site.xml文件中

<property>
	<name>dfs.hosts</name>
	<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>

5.将新节点的ip添加到slaves

vim slaves

6.刷新一下hdfs与yarn

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

7.单独开启一下新节点

到hadoop安装目录下的/sbin
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

8.试试

namenode所在节点:50070