HBase-replication

replication相关znode结构

replication相关参数

1.replication.source.log.queue.warn ReplicationSource 中待处理的 HLog 数量达 到该参数值时,打印警告,默认值为 2

2.replication.source.size.capacity 每次向 sink 端同步的数据大小不能超过该阀 值,默认为 64M;

3.replication.source.nb.capacity 每次向 sink 端同步的数据记录不能大于该阀 值,默认为 25000 条;

4.replication.source.per.peer.node.bandwidth 限制 replication 的传输带宽,默认值为 0,表示不限制;

5.replication.sleep.before.failover
将死掉的 RegionServer 中的 ReplicationQueue 转移到其他 RegionServer 之前,先休 眠2秒;

6.replication.source.ratio
从待备份集群中筛选出该比例的 RegionServer 作为潜在的 ReplicationSink,默认值 为 0.1;

7.replication.bad.sink.threshold
8.如果某个 ReplicationSink 的执行失败次数大于该阀值(默认为 3),source 端不再向其 推送数据,从 而改用其他 ReplicationSink 作为消费者实例

相关类：
ReplicationSourceManager：Master的replication线程主要管理者，负责初始化，启动或结束线程，同时也会watch主集群的ZK上RS节点在有RS退出或加入是时立即failover，保证数据的无丢失。
ReplicationZooKeeper : 用于控制和管理replication在Zookeeper上的一系列操作。
ReplicatioSource：replication工作线程，负责读取，解析，发送和记录Hlog（生产者）
ReplicationLogCleaner：管理Replication时的hlog
ReplicationSink: 备集群用于接收主集群的hlog entry后，分析并写入本集群(消费者)
NodeFailover：处理节点退出后为处理完的hlog.

参考以及相关链接:
http://blog.cloudera.com/blog/2012/07/hbase-replication-overview-2/