HBase学习---HBase Replication实战案例

HBase Replication 部署过程：

1. 配置并启动源hbase集群和目标hbase集群

2. 在源集群和目标集群上创建具有相同名称和列族的表

如果标在目标集群不存在，需要在目标集群上创建对应的表。具体步骤如下：

1. 在源hbase集群的shell下执行describe 命令：

hbase> describe acme_users

Table acme_users is ENABLED
acme_users
COLUMN FAMILIES DESCRIPTION
{NAME => 'user', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'NONE',
REPLICATION_SCOPE => '0', VERSIONS => '3', COMPRESSION => 'NONE',
MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE',
BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'false'}

2.  复制输出语句并做相应修改：

"CREATE 'cme_users' ,

{NAME => 'user', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'NONE',
REPLICATION_SCOPE => '0', VERSIONS => '3', COMPRESSION => 'NONE',
MIN_VERSIONS => '0', TTL => org.apache.hadoop.hbase.HConstants::FOREVER, KEEP_DELETED_CELLS => 'FALSE',
BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'false'}

 

• For the TTL, change FOREVER to org.apache.hadoop.hbase.HConstants::FOREVER.
• Add the word CREATE before the table name.
• Remove the line COLUMN FAMILIES DESCRIPTION and everything above the table name.

3. 在目标集群上执行建表语句！

3. 在源集群上，启用Cloudera管理器中的replication，或者设置hbase：在hbase-site.xml中hbase.replication为true。

4. 在源集群上，在HBase Shell中，使用add_peer命令将目标集群作为对等节点添加。语法如下:

add_peer 'ID', 'CLUSTER_KEY'
ID必须是一个短整数。要组合CLUSTER_KEY，请使用以下模板:

hbase.zookeeper.quorum:hbase.zookeeper.property.clientPort:zookeeper.znode.parent

5. 在源集群上，使用HBase Shell中的以下命令将每个列族的REPLICATION_SCOPE设置为1，从而配置要复制的每个列族。

hbase> disable 'example_table'
hbase> alter 'example_table', {NAME => 'example_family', REPLICATION_SCOPE => '1'}
hbase> enable 'example_table'

6. 在源hbase集群上创建快照！

7. 在hbase目标集群导入创建的快照！

8. 通过检查源集群上的日志，查看以下消息，验证复制是否正在发生。

Considering 1 rs, with ratio 0.1
Getting 1 rs from peer cluster # 0
Choosing peer 192.0.2.49:62020
9.  要验证复制数据的有效性，请使用源集群上包含的VerifyReplication MapReduce作业，为其提供复制对等点的ID和要验证的表名。其他选项也可用，比如要验证的时间范围或特定的家庭。

该命令的形式如下:

hbase org.apache.hadoop.hbase.mapreduce.replication.VerifyReplication [--starttime=timestamp1] [--stoptime=timestamp] [--families=comma separated list of families] <peerId> <tablename>
VerifyReplication命令打印GOODROWS和BADROWS计数器，以指示正确复制和错误复制的行