hadoop+Spark+hbase集群动态增加节点

原创 2018年04月17日 11:38:47
如果一个集群资源不够用需要扩展的时候怎么办,那么是可以不关机动态扩展的,具体操作如下:
192.168.111.11 lyy1 ---master节点
192.168.111.12 lyy2
192.168.111.13 lyy3
192.168.111.14 lyy4
新增:
192.168.111.15 lyy5
192.168.111.16 lyy6

1.从lyy1节点克隆出两台虚拟机,保证所有配置和软件一样,然后修改ip和hostname
(本集群是基于proxmox的虚拟集群,可以很方便的复制、开关虚拟机等,如果是物理集群可以把master节点镜像拷贝给新节点)
vim /etc/network/interfaces
vim /etc/hostname
2.修改vim /etc/hosts,加入ip映射。使用批处理命令并同步到所有机器
for i in $(seq 1 6); do echo lyy$i; scp /etc/hosts root@lyy$i:/etc/;done
同时还要修改hadoop的workers,spark的slaves,hbase的regionservers,增加主机名
for i in $(seq 1 6); do echo lyy$i; scp /opt/hadoop-3.0.0/etc/hadoop/workers root@lyy$i:/opt/hadoop-3.0.0/etc/hadoop;done
for i in $(seq 2 6); do echo lyy$i; scp /opt/hbase-1.2.4/conf/regionservers root@lyy$i:/opt/hbase-1.2.4/conf;done
for i in $(seq 2 6);do echo lyy$i; scp /opt/spark-2.2.0-bin-hadoop2.7/conf/slaves root@lyy$i:/opt/spark-2.2.0-bin-hadoop2.7/conf;done

还要同步hbase-site.xml配置文件
for i in $(seq 2 6); do echo lyy$i; scp /opt/hbase-1.2.4/conf/hbase-site.xml root@lyy$i:/opt/hbase-1.2.4/conf;done
for i in $(seq 1 6); do echo lyy$i; ssh lyy$i "cp /opt/hbase-1.2.4/conf/hbase-site.xml /opt/spark-2.2.0-bin-hadoop2.7/conf && cp /opt/hbase-1.2.4/conf/hbase-site.xml /opt/hadoop-3.0.0/etc/hadoop";done

注:不用重启集群,直接在新增的节点上分别启动以下进程即可:
3.hadoop增加datanode节点
hadoop-daemon.shstart datanode 启动DataNode进程
yarn-daemon.shstart nodemanager 启动NodeManager进程
4.spark新增worker节点
start-slave.shspark://lyy1:7077 启动Worker进程

5.hbase新增RegionServer

hbase-daemon.shstart regionserver 启动HRegionServer进程
hbase-daemon.shstart zookeeper 启动HquorumPeer进程
hbase shell中输入status查看集群状态
6.负载均衡
如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低工作效率:
查看hdfs节点状态:hdfsdfsadmin –report
1048576(=1Mb/s)
104857600(=100Mb/s)
hdfsdfsadmin -setBalancerBandwidth 104857600
#设置不同节点之间复制数据的带宽是受限的,默认是1MB/s
start-balancer.sh -threshold 1
#设置如果某个datanode的磁盘里使用率比平均水平高出1%,Blocks向其他低于平均水平的datanode中传送, 也就是每个节点使用率相差不超过1%。
或者:
start-balancer.sh
stop-balancer.sh

负载均衡之前的使用率
负载均衡之后各节点硬盘使用率趋于平衡:

负载均衡之后的使用率
此外Hbase也需要负载均衡:
hbase shell中输入: balance_switch true
至此可以就完成了节点扩展,现在集群已经有6个节点了,可以分别在hadoop、spark、hbase的监控页面上查看到节点。


我准备写一个公众号技术博客,回顾我学大数据以来的个人经验,希望和大家一起每天进步一点点!刚刚开始写,请大家多多支持,如有不足之处多多包含,最后多多关注哈哈哈。


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinadrew/article/details/79972557

Hadoop集群节点的动态增加与删除

http://heylinux.com/archives/2047.html Hadoop集群节点的动态增加与删除 Hadoop集群节点的动态增加 1. 安装配置...
  • Nazarite_wen
  • Nazarite_wen
  • 2014-06-17 18:33:18
  • 9650

Zookeeper学习7_Zookeeper节点的增加及故障演练

Zookeeper节点的增加及故障演练 环境介绍 OS: Ubuntu 10.10 Server 64-bit Servers: hadoop-master:10.6.1.150 - name...
  • wang_zhenwei
  • wang_zhenwei
  • 2015-10-20 18:53:57
  • 2779

zookeeper集群扩容/下线节点实践

环境: zookeeper版本 3.4.6 jdk版本 1.7.0_80 10.111.1.29 zk1 10.111.1.44 zk2 10.111.1.45 zk3 10.111.1....
  • levy_cui
  • levy_cui
  • 2017-04-27 16:15:26
  • 1573

tomcat集群实现源码级别剖析

随着互联网快速发展,各种各样供外部访问的系统越来越多且访问量越来越大,以前Web容器可以包揽接收-逻辑处理-响应整个请求生命周期的工作,现在为了构建让更多用户访问更强大的系统,人们通过不断地业务解耦、...
  • wangyangzhizhou
  • wangyangzhizhou
  • 2016-02-25 09:07:46
  • 4092

redis3.0.6集群动态 增加节点

redis3.0.6集群动态增加节点1,已有的redis集群(具体的操作见redis集群安装) 2,将需要添加进集群的redis节点启动3, 向集群中增加主节点 cd /opt/redis/re...
  • syq521125
  • syq521125
  • 2016-10-21 15:19:46
  • 894

hadoop或者spark 增加节点

增加节点。 复制一个虚拟机。 配置hosts文件,检查是否能ssh通。   Hadoop: scp /usr/local/hadoop/hadoop-2.6.0/etc/hadoop/s...
  • lxhandlbb
  • lxhandlbb
  • 2016-12-23 20:38:16
  • 714

greenplum 实验,动态增加节点

greenplum 实验,动态增加节点1.我原有在hadoop4-hadoop6上初始化了一个greenplum的集群2.所有的primary,mirror都启动着,我连接master,在两个表里插入...
  • scutshuxue
  • scutshuxue
  • 2010-11-28 16:04:00
  • 4448

oracle 11g RAC 增加节点

RAC的扩展分两个层次:Clusterware及Oracle数据库。在对RAC进行增加节点时候,需要分别对Clusterware及数据库进行扩展,其实就跟安装步骤差不多。也需要分grid及oracle...
  • TongYu2009
  • TongYu2009
  • 2014-08-05 16:47:03
  • 6512

spark集群动态增加worker节点

spark集群有4台机器,集群环境如下: 新增S30这台机器: 1. 先在S30这台机器把spark环境配置好,从M29复制过来,包括:scala,spark程序等 2. 新增的S30到...
  • Rosen_Luo
  • Rosen_Luo
  • 2015-07-03 09:59:32
  • 3105

向dcos集群中动态增加节点

1. 前言对于容器编排系统,前段时间主要研究kubernetes,现在实验室要用dcos,所以在实验室集群上搭建了该系统,dcos版本为1.8.6。搭建完成dcos之后,随着集群规模的增加,需要动态向...
  • yuanfang_way
  • yuanfang_way
  • 2017-02-09 12:17:36
  • 548
收藏助手
不良信息举报
您举报文章:hadoop+Spark+hbase集群动态增加节点
举报原因:
原因补充:

(最多只允许输入30个字)