关于Hbase的集群管理

1、如果只增加集群的存储量，建议增加hadoop datanode节点。

方法：

• 停掉集群包括hadoop和hbase，当然也可以不停掉，直接在hadoop namenode的配置文件Slave里添加新节点的host，别忘了在host文件里也要添加新添加的host名。
• 执行bin/start-all.sh启动集群
• 如果不手动作平衡，插入的数据将会放在新添加的节点上。以趋于平衡。
• 如果手动平衡，则start-balancer.sh和调用bin/shadoop balancer命令相似，也可加参数 -threshold 5（
  threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。 在使用start-balancer.sh时，如果在hdfs-site.xml里面没有配置dfs.balance.bandwidthPerSec，那么集群hdfs内部默认使用1M/S的速度移动数据(so slowly...)，我们可以通过在hdfs-site.xml里面配置dfs.balance.bandwidthPerSec来加快balance的速度。 最开始我们配置的是20m/S ，然后结果是导致job运行变得不稳定，出现一些意外的长map单元，某些reduce时间处理变长(整个集群负载满满的情况下，外加20m/s的balance)，在前天的中国hadoop年会上听淘宝调整的为10m/s，需要调整后实验，看看情况如何。 另外再修改dfs.balance.bandwidthPerSec参数后，需要在namenode上运行stop-dfs.sh start-dfs.sh重启hdfs生效。我们可以通过stop-balancer.sh停掉平衡任务。作完平衡后，启动hbase，正常。果cluster设置的副本数不为3（默认），需要先运行命令hadoop fs –setrep [-R] <path>
  进行设置一个文件的副本系数。如果默认为3则不必。如果执行完平衡以后才改变副本数，会将新加入到新节点上的所有数据删除。
  5.dfs.replication设置的副本系数只在文件系统写入时有效，并不影响在新添加节点时，平衡时的副本数
  由于还有hbase数据库，因此，在运行完平衡以后，将hbase下的.META.文件删除（防止出错），启动hbase，执行hbase org.jruby.Main add_table /表名 来进行hbase表恢复

验证步骤：1namenode+3datanode+1master+2regionserver+3zookeeper

2、删除一个regionServer，

在需要删除的RegionServer上执行以下命令： $./bin/hbase-daemon.sh stop regionserverRegionServer将会关掉所有的region，然后此节点将会在Zookeeper消失。Master注意到了此RegionServer 掉了，它将会重新分配掉的这些Region。在停掉一个节点的时候，注意要关闭Load Balancer，因为 Load Balancer可能要和Master的恢复机制争夺停掉的RegionServer。

hbase(main):001:0>balance_switch false

true

0 row(s) in 0.3590 seconds

hbase(main):002:0>balance_switch true

false

0 row(s) in 0.3590 seconds

$./bin/graceful_stop.sh

Usage: graceful_stop.sh [--config &conf-dir>] [--restart] [--reload] \

[--thrift] [--rest] &hostname>

thrift If we should stop/start thrift before/after the hbase stop/start

rest If we should stop/start rest before/after the hbase stop/start

restart If we should restart after graceful stop

reload Move offloaded regions back on to the stopped server

debug Move offloaded regions back on to the stopped server

hostname Hostname of server we are to stop

3、添加一个备份的master节点