首先规划好节点的服务角色
1.停止分发入库和调度,注意:入库先留一个节点,否则后面重启会报错
HDFS的迁移角色,选择旧节点替换成新节点
勾选需要迁移的角色,勾选停机时间,继续
这步会持续很久,等迁移角色进行到RPC项,中止迁移----这是为了防止集群马上重启,我们需要先调整好参数和配置在重启
2.其他旧节点上的服务依次替换掉:先加新的节点,再删除旧节点上的服务,然后据新设备的机器内核适量调整参数–本次128换512 多数是xmx参数增大一倍
3.角色迁移完毕,我们对集群现有的节点和服务进行再分配,因为前期扩容忽视均衡资源,导致一些设备资源紧张
目前impala demon,hbase region,presto work多数在一个节点上部署,导致资源紧张
将三种服务分别部署在单独节点,不在一个节点上部署多个服务:如总节点30个,10个impala,10个hbaseregion,10个presto
4.如果替换掉了zk节点,将bdp和bigdata里面的zk节点参数改成新加的节点
5.先起调度,在调度里面把入库主机列表和xml配置更新上去
6.起分发入库和其他bdp服务
7.观察入库情况,调度任务情况,入库堆积消除后,重跑调度
05-17
09-08
2434
“相关推荐”对你有帮助么?
-
非常没帮助
-
没帮助
-
一般
-
有帮助
-
非常有帮助
提交