问题:
本人近期将Hadoop集群节点从3个扩展为8个之后扩展之后,更改HDFS数据副本数,之后HBase操作非常缓慢,查看日志信息一直有数据在移动。
解决方案:
由于数据副本数增加,在扩展完节点之后,在Hadoop主节点执行如下命令sbin/start-balancer.sh使各个节点数据负载均衡之后各数据节点数据一直在移动并复制增加数据副本数据,因此导致集群运行缓慢,因此建议此操作在非工作日操作。
问题:
本人近期将Hadoop集群节点从3个扩展为8个之后扩展之后,更改HDFS数据副本数,之后HBase操作非常缓慢,查看日志信息一直有数据在移动。
解决方案:
由于数据副本数增加,在扩展完节点之后,在Hadoop主节点执行如下命令sbin/start-balancer.sh使各个节点数据负载均衡之后各数据节点数据一直在移动并复制增加数据副本数据,因此导致集群运行缓慢,因此建议此操作在非工作日操作。