Hbase复制(Replication )

Hbase复制使用手册
1 Hbase复制简介
通过hbase的replication功能实现集群间的相互复制.

2 环境
这里hbase版本为hbase-0.98.6-cdh5.3.3

 

3 配置
 

各个集群里配置hbase-site.xml里的复制功能:

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

 

完整配置文件附录:

<configuration>

<property>

    <name>hbase.master</name>

    <value>shenl:6000</value>

</property>

<property>

    <name>hbase.master.maxclockskew</name>

    <value>180000</value>

</property>

<property>

    <name>hbase.rootdir</name>

    <value>hdfs://shenl:8020/hbase</value>

</property>

<property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

</property>

<property>

    <name>hbase.zookeeper.quorum</name>

    <value>shenl</value>

</property>

<property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/root/zookeeper/data</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

</configuration>

4 使用
3.1 场景1:主节点同名表同步到各从节点

1 主节点里创建student表,指定有score和course两个列族

create 'student', 'score', 'course'

put 'student', 'xiapi001','score:english', '10'

put 'student', 'xiapi002','score:chinese', '20'

put 'student','xiapi002','course:chinese', '001'

scan 'scores'

2打开主节点里表student的复制特性

disable 'student'

alter 'student', {NAME => 'score',REPLICATION_SCOPE => '1'},{NAME => 'course', REPLICATION_SCOPE => '1'}

enable 'student'

 

3主节点里添加要复制的从节点的peer

add_peer '10','192.168.56.103:2181:/hbase'

set_peer_tableCFs '10','student'

 

4从节点里新增跟主节点一样的表

create 'student', 'score', 'course'

 

5主节点里新增数据到从节点里观察数据是否同步

1)  主节点里新增数据

 

2)  从节点里查看数据

 

 

注:1 这里数据同步是从replication功能打开之后,之前的数据需要手工同步.

2同步时可以指定列族，如仅同步student的score列族:

从节点里:

 

6同理添加peer,重复动作 34 5，即可实现场景1.

add_peer '11','192.168.56.104:2181:/hbase'

set_peer_tableCFs '10','student'

 

3.2场景2:主节点不同表同步到不同集群相应表

实现方式类似3.1,通过set_peer_tableCFs设置

set_peer_tableCFs '4', "slave1:grade; scores:grade"

set_peer_tableCFs '5', "slave2:grade; scores:grade"

list_peers

3.3场景3:各主节点表同步到同从集群相应表

实现方式:

 

主集群1里增加peer,主集群2里增加peer,同时通过set_peer_tableCFs设置需要同步的表即可.

#主hbase1 peers:

 

#主hbase2 peers :

add_peer '6','192.168.56.103:2181:/hbase'

set_peer_tableCFs '5', " master2:grade"

 

3.4复制命令详解
Group name: replication

 

命令

官网解释

中文意思

add_peer

adds a replication relationship between two clusters

为两个集群添加复制管理

disable_peer

Disable a replication relationship

禁用复制关系

enable_peer

Enable a previously-disabled replication relationship

启用复制关系

list_peers

list all replication relationships known by this cluster

显示当前集群的复制关系

remove_peer

Disable and remove a replication relationship

禁用并删除复制关系

list_replicated_tables

List all the tables and column families replicated from this cluster

显示一个hbase集群下处于复制状态的表

set_peer_tableCFs

Set the replicable table-cf config for the specified peer

设置peer下的表、列族复制关系

show_peer_tableCFs

Show replicable table-cf config for the specified peer.

显示peer下表、列族复制关系

 

5 问题总结
1 验证是需要先核对下hbase的版本,不同版本的复制命令不同

2 同步是针对配置后复制的新数据，旧数据需要手动迁移
————————————————
版权声明：本文为CSDN博主「SunShine2025」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/shenliang1985/article/details/51420112