近期因为Hadoop集群的三个节点磁盘存储空间不足,经常导致集群服务出现停止运行,因此对三个节点的集群做了一次节点扩展,将原有的三个节点扩展为8个节点,以下是操作过程:
1、以root用户身份登录新增加的5个物理服务器,修改/etc/sysconfig/network文件,将主机名分别修改为datanode03 datanode04 datanode05 datanode06 datanode07
2、关闭新增加的5台物理服务器的防火墙和SElinex
3、修改所有节点的/etc/hosts
4、在新增加的5台服务服务器上安装JDK,注意安装目录和版本与原来三个节点要一致。
5、为新增加的5个物理服务器新建Hadoop用户
6、以Hadoop用户身份登录,配置所有节点之间的SSH免密码登录
7、因为原有三个节点的dfs.namenode.name.dir目录为file:/hdfs/name,所以以root身份在新增加的5台主机上新建/hdfs文件夹,并修改文件夹机器子目录的用户和用户组
chown -R hadoop hdfs
chown -R :hadoop hdfs
8、将主节点namenode中的hadoop安装文件复制到新增加的5个节点中,
9、修改所有节点下的hadoop中的slaves文件,增加如下内容
10.30.16.34 datanode03
10.30.16.35 datanode04
10.30.16.36 datanode05
10.30.16.37 datanode06
10.30.16.38 datanode07
10、修改hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件将HDFS中数据的副本数改为3
11、在新增5个节点的hadoop安装目录下执行sbin/hadoop-daemon.sh start datanode启动datanode
12、在新增5个节点的hadoop安装目录下执行sbin/yarn-daemons.sh start nodemanager启动yarn
13、在主节点执行hadoop dfsadmin -refreshNodes以刷新识别新增加的节点
14、在主节点执行bin/hadoop dfsadmin -report看新增加节点有没有生效
15、在主节点执行sbin/start-balancer.sh进行数据的负载均衡
16、将主节点的HBase安装文件复制到新增节点的相应目录下,并修改所有节点的HBase安装文件中的regionserver文件,新增如下内容
10.30.16.34 datanode03
10.30.16.35 datanode04
10.30.16.36 datanode05
10.30.16.37 datanode06
10.30.16.38 datanode07
17、在新增节点HBase安装目录下执行bin/hbase-daemon.sh start regionserver启动新增节点的HBase。