HBase快照(Snapshot)技术

本文介绍了HBase的快照技术,包括其概念、作用、优势和应用场景。快照提供了一种在HBase中恢复到先前状态的能力,而不会影响到RegionServer。它适用于用户异常恢复、数据备份、应用测试等多种场景。文章详细阐述了生成、克隆、还原、删除和导出快照的操作,并提供了故障排查和解决方法。
摘要由CSDN通过智能技术生成

什么是快照
快照就是一份元信息的合集,允许管理员恢复到表的先前状态。快照不是表的复制而是一个文件名称列表,因而不会复制数据。 
完全快照恢复是指恢复到之前的“表结构”以及当时的数据,快照之后发生的数据不会恢复。

快照的作用
HBase中存在的备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝HDFS中的所有HFile。 
复制或导出是通过一系列工具调用MapReduce来扫描并复制表,这样会对RegionServer有直接的影响。关闭表会停止所有的读写操作,实际环境中往往无法接受。 
相比之下HBase快照允许管理员不拷贝数据,而直接克隆一张表,这对域服务器产生的影响最小。将快照导出至其他集群不会直接影响到任何服务器;导出只是带有一些额外逻辑的群间数据同步。

快照优势
导出快照与复制/导出表除了更好地保持一致性外,主要的不同在于导出快照是在HDFS的层面操作的。 这意味着HMaster和域服务器与操作无关。因此不需要为不必要的数据创建缓存空间,也不会有扫描过程。因为大量对象创建引起的GC暂停,对于HBase 来说主要性能影响就是DataNode额外的网络和磁盘负载。

应用场景
1、从用户/应用异常中还原。 
2、从一个已知的安全状态恢复/还原。 
3、查看之前的快照并有选择性的合并不同写入产品环境。 
4、当主应用程序升级或改版时保存快照。 
5、在指定时间审查和 或 报告数据。 
6、按照规定捕获月度数据。 
7、生成日终/月末/季末报告。 
8、应用测试。 
9、通过快照模拟生产环境下结构或应用发生的变化,测试完成即可丢弃。 
例如:生成快照,利用快照中内容构建新表(原有结构+数据)并且修改新的结构,添加或删除列之类。(原始表、快照和新表保持相互独立) 
10、减少工作压力。 
11、生成快照,导入到其他集群,然后运行MapReduce jobs。因为导出的快是HDFS级别,所以不会像复制表那样降低HBase主集群的效率。

快照操作
生成快照: 
本操作尝试对指定表生成快照。如果集群在执行数据均衡、分隔或合并等操作时,可能会引起操作失败。

克隆快照: 
本操作使用与指定快照相同的结构数据构建一张新表。 操作结果会生成一张有完整功能的表,对该表的任意修改不会对原表或快照产生影响。

还原快照: 
本操作将表结构和数据恢复到生成快照时的状态。(注意:本操作会舍弃快照生成后任何改变)。

删除快照: 
本操作将系统中的快照删除,释放未共享的磁盘空间, 而且不会影响其他克隆或快照。

导出快照: 
本操作将快照数据和元数据复制到其他集群。操作只会涉及HDFS,不会与HMaster或RegionServer产生任何联系,因此HBase集群可以关闭。

Demo
通过检查hbase-site.xml中的hbase.snapshot.enabled是否设置为true确认打开了快照许可。

1、获取指定表的快照使用snapshot命令(不产生文件复制) 
hbase>snapshot 'tableName','snapshotName'

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

꧁꫞ND꫞꧂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值