Hbase主-从集群备份

最新推荐文章于 2023-09-03 09:16:50 发布
最新推荐文章于 2023-09-03 09:16:50 发布
阅读量1.3k 收藏
点赞数
分类专栏： 大数据 Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21153619/article/details/82011376
版权

三种方法实现HBASE主-从集群备份

1、Export/Import

  • 通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，导出时可以指定version，starttime(时间戳)，endtime(时间戳)等参数，并且可以通过-D指定是否压缩，指定caching等属性，比如：

hbase  org.apache.hadoop.hbase.mapreduce.Export test4 hdfs://yun11.hdp.huayuntech.com:8020（从集群名称）/hbase

1   1415693812520   1415694912520

  • Export导出工具与CopyTable一样是依赖hbase的scan读取数据，并且采用的InportFormat与CopyTable一样是TableInputFormat类，从该类的getSplits()方法可以看出MR的map数与hbase表的region数相同。
  • 在import时可以指定使用bulk的方式，bulk是生成hfile格式的文件，直接导入到Region，无需经历hbase的写数据过程，从而无需消耗memstore，无需Flush等，更加高效，如果不指定bulk文件路径（hdfs的路径）则会采用hbase 的put和delete API进行写入。

Hbase  org.apache.hadoop.hbase.mapreduce.Import  <tablename>  hdfs://yun11.hdp.huayuntech.com:8020/hbase

  • 使用Import工具前必须先创建表

2、Snapshot

  • 开启快照功能，在hbase-site.xml文件中添加如下配置项：

  • <property>

    <name>hbase.snapshot.enabled</name>

    <value>true</value>

    </property>

  • 在hbase shell中使用clone_snapshot, delete_snapshot, list_snapshots, restore_snapshot, snapshot命令可是是想创建快照，查看快照，通过快照恢复表，通过快照创建一个新的表等功能，需要注意的是：如果该表开启了replication功能实现主从同步则在使用restore_snapshot功能对主表进行恢复时，必须先停止replication功能并且redo the bootstrap，因为replication是基于WAL日志实现的，而snapshot是直接在hdfs层面不是基于hbase的put、delete等API进行的，不会写WAL日志。
  • 在创建snapshot后，可以通过ExportSnapshot工具把快照导出到另外一个集群，实现数据备份或者数据迁移，ExportSnapshot工具的用法如下：
  • 例如：

Hbase   org.apache.hadoop.hbase.snapshot.ExportSnapshot  -snapshot test4_snapshot_201411111422 -copy-to hdfs://yun11.hdp.huayuntech.com:8020 /apps/hbase/data

  • 保存到HSFS的/apps/hbase/data这个指定的快照存储路径下hbase才能识别出这个快照
  • 执行该命令后，在yun11这个集群的hdfs中会把test4_snapshot_201411111422文件夹copy到/apps/hbase/data /.hbase-snapshot文件下，进入yun11.hdp.huayuntech.com这个hbase集群，执行list_snapshots会看到有一个快照：test4_snapshot_201411111422，通过命令clone_snapshot可以把该快照copy成一个新的表，不用提前创建表，新表的region个数等信息完全与快照保持一致。
  • 在使用snapshot把一个集群的数据copy到新集群后，应用程序开启双写，然后可以使用Export工具把快照与双写之间的数据导入到新集群，从而实现数据迁移，为保障数据不丢失，Export导出时指定的时间范围可以适当放宽。

 

3、Replication

  • 可以通过replication机制实现hbase集群的主从模式，具体步骤如下：

1、  zookeeper不能被hbase托管，如果主从hbase集群共用一个zk集群，则zookeeper.znode.parent不能都是默认的hbase，可以配置为hbase-master和hbase-slave

2、 在主hbase集群的hbase-site.xml中添加配置项：

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

<property>

<name>replication.source.nb.capacity</name>

<value>25000</value>

<description>主集群每次向从集群发送的entry最大的个数，默认值25000，可根据集群规模做出适当调整</description>

</property>

<property>

<name>replication.source.size.capacity</name>

<value>67108864</value>

<description>主集群每次向从集群发送的entry的包的最大值大小，默认为64M</description>

</property>

<property>

<name>replication.source.ratio</name>

<value>1</value>

<description>主集群使用的从集群的RS的数据百分比，默认为0.1，需调整为1，充分利用从集群的RS</description>

</property>

<property>

<name>replication.sleep.before.failover</name>

<value>2000</value>

<description>主集群在RS宕机多长时间后进行failover，默认为2秒，具体的sleep时间是： sleepBeforeFailover + (long) (new Random().nextFloat() * sleepBeforeFailover) </description>

</property>

<property>

<name>replication.executor.workers</name>

<value>1</value>

<description>从事replication的线程数，默认为1，如果写入量大，可以适当调大</description>

</property>

3、在从hbase集群的hbase-site.xml中添加：

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

4、 进入主集群的shell，执行：

add_peer 'ID' 'CLUSTER_KEY'

  • ID是自己任意指定的数字，

CLUSTER_KEY为从集群的zookeeper下的一个Znode,

  • 例如：yun1,yun2,yun3:2181:/cluster1_hbase_replication

The ID must be a short integer. To compose the CLUSTER_KEY, use the following template:

hbase.zookeeper.quorum:hbase.zookeeper.property.clientPort:zookeeper.znode.parent

This will show you the help to setup the replication stream between both clusters. If both clusters use the same Zookeeper cluster, you have to use a different zookeeper.znode.parent since they can't write in the same folder.

5、  在从集群中创建一个与master集群相同的表

6、 修改表定义，开启复制功能

disable 'your_table'

alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}

enable 'your_table

此处的REPLICATION_SCOPE => '1'中的1，设定允许被备份

 

提示：

1、 hbase的replication，如果是在建立主表和从表的关系前，主表已经有数据则该部分数据不会被同步到从表中，因为replication是依赖WAL日志进行的同步，可以通过如下步骤实现：

a)   通过snapshot把历史数据导入到从集群；

b)   开启replication；

c)   通过Export工具把快照和开启replication之间的数据导入到从表；

d)   通过VerifyReplication工具校验数据的一致性。

2、  如果客户端在写入数据时设置不写WAL日志，则会导致从集群不会同步数据；

3、  主从同步是异步的，因此数据不一定会立即同步到从表；

 

韦晓阳
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hbase-2.4.17-bin 安装包
08-28
1. 使用HBase自带的JMX监控工具或第三方监控工具（如Ambari、Grafana）监控HBase集群的性能指标。 2. 定期进行健康检查，排查可能存在的问题，如Region不均、内存溢出等。 3. 对HBase进行定期备份，以防数据丢失。...
hbase-2.2.3-bin.tar.gz
04-07
4. **备份与恢复**：制定备份策略，以防数据丢失。HBase支持快照功能，可以定期创建快照以备不时之需。 5. **安全设置**：根据业务需求，配置合适的安全策略，例如启用SSL通信，设置访问控制等。 最后，提供的...
HBase的主从
汤小萌的博客
12-05 1949
主： HMaster: 只负责表管理，和RegionServer的上线下线，一个Region挂了，就把数据分下去，一个Region上来了，就把数据均衡一下。跟管理DataNode的上下线是一样的。不跟数据打交道 从：HRegionServer 跟数据打交道，管理数据的增删改查，还有向hdfs写数据。 ...
Hbase主备集群配置
weixin_47099283的博客
10-26 591
Hbase主备集群配置
集群 备份 数据库 MySQL
threeWater0402的博客
09-02 549
集群：技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。 那么集群的目的是什么呢，集群的目的其实就是提高性能降低成本，提高扩展性和增强可靠性。那么我们学习的MySQL集群的目的就是为了解决高并发性，也就是负载均衡，可用性，还...
什么是集群备份
qian556688的博客
08-14 1076
集群是由两台或多台节点机（服务器）构成的一种松散耦合的计算节点集合，为用户提供网络服务或应用程序(包括数据库、Web服务和文件服务等)的单一客户视图，同时提供接近容错机的故障恢复能力。 集群系统一般通过两台或多台节点服务器系统通过相应的硬件及软件互连，每个群集节点都是运行其自己进程的独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形成了一个单一系统，协同起来向用户提供应用程序、系统资源和数据。除了作为单一系统提供服务，集群系统还具有恢复服务器级故障的能力。集群系统还可通过在集群中继续增加服务器的方式
hbase 多集群之间的备份
chengqianl的专栏
08-11 225
多集群之间的备份使用CopyTable 参考 http://hbase.apache.org/book/ops_mgt.html#copytable CopyTable is a utility that can copy part or of all of a table, either to the same cluster or another cluster. The usage ...
hbase-1.1.5-bin.tar
09-30
14. **备份与恢复**：HBase可以通过Hadoop的MapReduce进行数据导出和导入，实现数据的备份与恢复。 15. **扩展性**：随着数据量的增长，HBase可以通过增加Region Server节点来横向扩展容量和处理能力。 了解并掌握...
hbase-1.1.3-bin.tar.gz
05-09
安装和部署HBase集群的步骤通常包括： 1. 在所有节点上解压HBase压缩包，并确保相同的路径。 2. 配置Hadoop环境，包括HDFS和YARN。 3. 修改HBase的配置文件，如设置HBase的主节点地址、Zookeeper地址等。 4. 初始化...
hbase-1.2.0-cdh5.12.0.tar.gz
04-24
在CDH 5.12.0环境下部署HBase 1.2.0，需要配置Hadoop集群，设置HBase的相关参数，如Master节点、RegionServer、Zookeeper等。同时，监控和调优是保证HBase高效运行的关键，包括Region分布、内存使用、延时问题等。 ...
大规模集群全网数据备份解决方案
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
07-25 897
数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。 实现基础架构图 1、基本备份要求 已知3台服务器主机名分别为web01，backup、nfs0...
hbase copytable_HBase数据迁移和备份
weixin_39839410的博客
11-29 409
深入探讨HBASE​mp.weixin.qq.com1. distcp命令拷贝hdfs文件的方式使用MapReduce实现文件分发，把文件和目录的列表当做map任务的输入，每个任务完成部分文件的拷贝和传输工作。在目标集群再使用bulkload的方式导入就实现了数据的迁移。执行完distcp命令后，需要执行hbase hbck -repairHoles修复HBase表元数据。缺点在于需要停写，不然会...
HBase的主从架构和复制机制
最新发布
互联网知识分享
09-03 288
HBase是一个开源的、分布式的、面向列的NoSQL数据库，它基于Hadoop分布式文件系统（HDFS）来存储和处理数据。HBase的主从架构是其高可用性和数据冗余的关键组成部分。在HBase的主从架构中，主节点（Master）负责管理集群的整体状态和元数据信息，从节点（）负责存储和处理数据。主节点负责监控从节点的状态，并根据需要分配和迁移数据块到从节点进行负载均衡和故障恢复。主节点和从节点之间通过心跳机制进行通信，主节点会定期向从节点发送心跳信号来检测其状态。
HBase(2.4)-HBase读写操作、root和meta表
知行合一，止于至善
08-23 8143
1. HBase读写流程 上图是RegionServer数据存储关系图。上文提到，HBase使用MemStore和StoreFile存储对表的更新。数据在更新时首先写入HLog和MemStore。MemStore中的数据是排序的，当MemStore累计到一定阈值时，就会创建一个新的MemStore，并且将老的MemStore添加到Flush队列，由单独的线程Flush到磁盘上，成为一个StoreF
Hbase Master工作机制
Running_Tiger的博客
03-14 4099
Hbase Master工作机制 1、master上线 master启动进行以下步骤: 从zookeeper上获取唯一一个代表active master的锁，用来阻止其它master成为活着的master。 扫描zookeeper上的server父节点，获得当前可用的region server列表。 和每个region server通信，获得当前已分配的region和region se...
CDH集群: 数据恢复/备份
eyeofeagle的博客
01-13 3274
为防止hadoop集群因version等元数据丢失导致启动报错Namenode not format, 而使得所有数据丢失，需要数据业务备份 使用CDH的数据主要为hive, hbase的各表，所以仅需要备份hive,hbase数据（以待hadoop重新格式化后无数据） 测试hdfs重新格式化，数据恢复 说明1： hdfs手动重新格式化后，/目录没有任何数据, 此时需要创建相关的基本目录:（...
hbase的高级特性之主从复制
枣泥馅的博客
04-20 1065
HBase默认此特性是关闭的，需要在集群上（所有集群）进行设定并重启集群。 hbase.replication true 实验：启动两个HBase 注意：需要配置各自的/etc/hosts文件，加入对方的IP和主机名。 在源集群上和目标集群上都新建表 源 集 群： create 'testtable','info' 目标集群： create 'testt
HBase分布式集群搭建
Spring , Hadoop, Spark , BI , ML
08-02 1341
本文详细介绍搭建分布式HBase集群的步骤，并给出一个简单的例子。假设在集群上已经安装好JDK以及HDFS，如果还未安装，请参考这篇详细的Hadoop集群搭建步骤。HBase集群组成HBase采用主从模式，由Master和RegionServer组成，使用ZooKeeper作为协调服务。集群个角色如下：下面我们搭建的集群由3个节点组成，一台作为Master，另外两台作为RegionServer。Zo
HBase总结
A的虎的博客
09-23 862
HBase的架构和读写流程分析，keyrow的设计，大小合并，region的拆分
hbase-client 集群用户
05-31
要查询HBase集群中的所有用户，可以使用HBase的Java API来实现。以下是一种可能的实现方式： ``` Configuration config = HBaseConfiguration.create(); Connection connection = ConnectionFactory.create...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值