HBase数据备份/容灾

 

HBase的数据备份方式有很多种，Distcp，CopyTable，Export/Import，backup/restore和Replication等。这里主要介绍backup/restore和Replication两种方式。

backup/restore功能是对 HBase Replication 功能的补充。HBase replication适合创建数据的“热”副本（复制数据可立即用于查询，实时备份）；backup/restore功能适合创建“冷”数据副本（必须采取手动步骤）恢复系统，定时备份）。

接下来介绍下两种方式的配置和简单操作：

Replication 功能

1、集群参数配置

在hbase-site.xml中添加如下参数配置

<!--必须的参数-->
<property> 
<name>hbase.replication</name>
<value>true</value> 
</property>

<!--非必须的参数-->
<>

2、环境配置

2.1、集群间版本需要保持一致

2.2、集群间互通，且配置免密

2.3、备份表在两个集群上都存在，且表结构一致

3、基本操作

1、在2个集群上创建test表

create 'test','f1'

2、指定需要备份的列族

disable 'test' 
alter 'test',{NAME=>'f1', REPLICATION_SCOPE=>'1'} 
enable 'test'

3、指定要备份的集群信息，并查看

add_peer '1', CLUSTER_KEY => "node01,node02,node03:2181:/hbase" list_peers

4、在原集群执行数据插入操作

put 'test','r1','f1:a','v1'
put 'test','r2','f1:a','v2'

5、在备份集群查看数据是否完成备份同步

scan 'test'

backup/restore功能

HBase 备份和还原功能有助于确保使用 HBase 作为规范数据存储库的企业可以从灾难性故障中恢复。另一个重要功能是能够将数据库还原到特定时间点，通常称为快照。

1、集群参数配置

在hbase-site.xml中添加如下参数配置

<property>
  <name>hbase.backup.enable</name>
  <value>true</value>
</property>
<property>
  <name>hbase.master.logcleaner.plugins</name>
  <value>org.apache.hadoop.hbase.backup.master.BackupLogCleaner,...</value>
</property>
<property>
  <name>hbase.procedure.master.classes</name>
  <value>org.apache.hadoop.hbase.backup.master.LogRollMasterProcedureManager,...</value>
</property>
<property>
  <name>hbase.procedure.regionserver.classes</name>
  <value>org.apache.hadoop.hbase.backup.regionserver.LogRollRegionServerProcedureManager,...</value>
</property>
<property>
  <name>hbase.coprocessor.region.classes</name>
  <value>org.apache.hadoop.hbase.backup.BackupObserver,...</value>
</property>
<property>
  <name>hbase.master.hfilecleaner.plugins</name>
  <value>org.apache.hadoop.hbase.backup.BackupHFileCleaner,...</value>
</property> 

2、基本操作

2.1 创建全量/增量备份

hbase backup create full/incremental hdfs://host5:8020/backupdata -t test

必须对指定表创建过全量备份后，才能创建增量备份。否则会提示不存在该表的全量备份。

2.2 恢复

hbase restore hdfs://host5:8020/backupdata backupId_1467823988**** -t test

详细命令以及可选参数可参考https://www.cntofu.com/book/173/docs/12.md。

另有备份进度监控、备份镜像管理、备份集等功能。

参考网址：

https://www.cntofu.com/book/173/docs/12.md

https://www.w3cschool.cn/hbase_doc/hbase_doc-3h8r2tmt.html

https://blog.csdn.net/u010657789/article/details/51813226