hbase 数据、数据表被误删恢复、备份

最新推荐文章于 2022-12-16 10:19:08 发布
最新推荐文章于 2022-12-16 10:19:08 发布
阅读量1.2k 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44154134/article/details/107934682
版权

hbase误删数据

##创建名称空间
hbase(main):006:0> create_namespace 'lilin_test'
0 row(s) in 0.0920 seconds
hbase(main):008:0> list_namespace
NAMESPACE                                                                                                                                                                                                          
default                                                                                                                                                                                                                                                                                                                                                                                                                          
lilin_test 
##创建表，并插入数据
    hbase(main):012:0> create 'lilin_test:demo','f'
0 row(s) in 1.3430 seconds

=> Hbase::Table - lilin_test:demo
hbase(main):013:0> put 'lilin_test:demo','r1','f:name','aa'
0 row(s) in 0.1270 seconds

hbase(main):014:0> put 'lilin_test:demo','r1','f:age','16'
0 row(s) in 0.0080 seconds

hbase(main):015:0> put 'lilin_test:demo','r2','f:name','bb'
0 row(s) in 0.0100 seconds

hbase(main):016:0> put 'lilin_test:demo','r2','f:age','18'
0 row(s) in 0.0050 seconds

hbase(main):017:0> scan 'lilin_test:demo'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597126340904, value=16                                                                                                              
 r1                                                   column=f:name, timestamp=1597126330023, value=aa                                                                                                             
 r2                                                   column=f:age, timestamp=1597126361389, value=18                                                                                                              
 r2                                                   column=f:name, timestamp=1597126352918, value=bb                                                                                                             
2 row(s) in 0.0480 seconds

##删除数据
hbase(main):018:0> delete 'lilin_test:demo','r2','f:age'
0 row(s) in 0.0270 seconds

hbase(main):019:0> scan 'lilin_test:demo'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597126340904, value=16                                                                                                              
 r1                                                   column=f:name, timestamp=1597126330023, value=aa                                                                                                             
 r2                                                   column=f:name, timestamp=1597126352918, value=bb                                                                                                             
2 row(s) in 0.0110 seconds
##当数据被误删后，设置KEEP_DELETED_CELLS为true，防止数据被物理删除
hbase(main):001:0> describe 'lilin_test:demo'
Table lilin_test:demo is ENABLED                                                                                                                                                                                   
lilin_test:demo                                                                                                                                                                                                    
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                        
{NAME => 'f', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'FALSE', BLOCKSIZ
E => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}                                                                                                                                                          
1 row(s) in 0.2860 seconds

hbase(main):002:0> alter 'lilin_test:demo',{NAME => 'f',KEEP_DELETED_CELLS => TRUE}
Updating all regions with the new schema...
1/1 regions updated.
Done.
0 row(s) in 2.0150 seconds

hbase(main):003:0> describe 'lilin_test:demo'
Table lilin_test:demo is ENABLED                                                                                                                                                                                   
lilin_test:demo                                                                                                                                                                                                    
COLUMN FAMILIES DESCRIPTION                                                                                                                                                                                        
{NAME => 'f', DATA_BLOCK_ENCODING => 'NONE', BLOOMFILTER => 'ROW', REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE', MIN_VERSIONS => '0', TTL => 'FOREVER', KEEP_DELETED_CELLS => 'TRUE', BLOCKSIZE
 => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'}                                                                                                                                                           
1 row(s) in 0.0200 seconds
##通过RAW查看删除的数据
hbase(main):021:0> scan 'lilin_test:demo',{RAW => TRUE}
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597126340904, value=16                                                                                                              
 r1                                                   column=f:name, timestamp=1597126330023, value=aa                                                                                                             
 r2                                                   column=f:age, timestamp=1597126402593, type=DeleteColumn                                                                                                     
 r2                                                   column=f:age, timestamp=1597126361389, value=18                                                                                                              
 r2                                                   column=f:name, timestamp=1597126352918, value=bb                                                                                                             
2 row(s) in 0.0130 seconds
##恢复数据
hbase(main):010:0> put 'lilin_test:demo','r2','f:age','18'
0 row(s) in 0.0520 seconds
hbase(main):009:0> scan 'lilin_test:demo'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597126340904, value=16                                                                                                              
 r1                                                   column=f:name, timestamp=1597126330023, value=aa                                                                                                             
 r2                                                   column=f:age, timestamp=1597126484106, value=18                                                                                                              
 r2                                                   column=f:name, timestamp=1597126352918, value=bb                                                                                                             
2 row(s) in 0.0260 seconds

hbase 误drop表

##数据被误删后，最好5分钟内备份
hbase(main):014:0> exists 'lilin_test:demo'
Table lilin_test:demo does not exist                                                                                                                                                                               
0 row(s) in 0.0160 seconds

[root@massive-dataset-new-003 ~]#hadoop fs -cp /hbase/archive/* /tmp
[root@massive-dataset-new-003 ~]# hadoop fs -ls /tmp/data/lilin_test/demo
Found 1 items
drwxr-xr-x   - root supergroup          0 2020-08-11 14:46 /tmp/data/lilin_test/demo/75548ab27c2db7b410dcc8f96314bcc2

##新建一张表，与删除的表结构一样
hbase(main):015:0> create 'lilin_test:demo','f'
0 row(s) in 1.2350 seconds

=> Hbase::Table - lilin_test:demo

##将备份的数据拷贝至数据目录下
[root@massive-dataset-new-003 ~]# sudo -u hbase hadoop fs -cp /tmp/data/lilin_test/demo/75548ab27c2db7b410dcc8f96314bcc2 /hbase/data/lilin_test/demo/
[root@massive-dataset-new-003 ~]# hadoop fs -ls /hbase/data/lilin_test/demo
Found 3 items
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:46 /hbase/data/lilin_test/demo/.tabledesc
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:46 /hbase/data/lilin_test/demo/.tmp
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:46 /hbase/data/lilin_test/demo/d65564c4839888c0b739c4493bc210b4
[root@massive-dataset-new-003 ~]# hadoop fs -ls /hbase/data/lilin_test/demo                                                                          
Found 4 items
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:46 /hbase/data/lilin_test/demo/.tabledesc
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:46 /hbase/data/lilin_test/demo/.tmp
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:50 /hbase/data/lilin_test/demo/75548ab27c2db7b410dcc8f96314bcc2
drwxr-xr-x   - hbase hbase          0 2020-08-11 14:46 /hbase/data/lilin_test/demo/d65564c4839888c0b739c4493bc210b4

##恢复hbase元数据,并验证（hbase2.X版本不支持-repair）
sudo -u hbase hbase hbck -repair
sudo -u hbase hbase hbck -fixAssignments
hbase(main):008:0> scan 'lilin_test:demo'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597126340904, value=16                                                                                                              
 r1                                                   column=f:name, timestamp=1597126330023, value=aa                                                                                                             
 r2                                                   column=f:age, timestamp=1597127911513, value=20                                                                                                              
 r2                                                   column=f:name, timestamp=1597126352918, value=bb                                                                                                             
2 row(s) in 0.0100 seconds

hbase数据备份

##通过snapshot进行表备份
hbase(main):017:0> snapshot 'test_lilin','test_lilin_snapshot'
Took 1.0398 seconds                                                                                                                                                                                                
hbase(main):018:0> list_snapshots
SNAPSHOT                                              TABLE + CREATION TIME                                                                                                                                        
 test_lilin_snapshot                                  test_lilin (2020-08-20 11:01:10 +0800)                                                                                                                       
1 row(s)
Took 0.0372 seconds                                                                                                                                                                                                
=> ["test_lilin_snapshot"]
##删除旧表
hbase(main):019:0> disable 'test_lilin'
Took 0.5000 seconds                                                                                                                                                                                                
hbase(main):021:0> drop 'test_lilin'
Took 0.2635 seconds
##恢复表数据
hbase(main):034:0> restore_snapshot 'test_lilin_snapshot'
Took 0.7428 seconds
##测试表的可用性
hbase(main):036:0> scan 'test_lilin'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597891837030, value=11                                                                                                              
 r1                                                   column=f:name, timestamp=1597891869030, value=aa                                                                                                             
1 row(s)
Took 0.0131 seconds                                                                                                                                                                                                
hbase(main):037:0> enable 'test_lilin'
Took 0.0079 seconds                                                                                                                                                                                                
hbase(main):038:0> scan 'test_lilin'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597891837030, value=11                                                                                                              
 r1                                                   column=f:name, timestamp=1597891869030, value=aa                                                                                                             
1 row(s)
Took 0.0084 seconds                                                                                                                                                                                                
hbase(main):039:0> put 'test_lilin','r2','f:age','2'
Took 0.0068 seconds                                                                                                                                                                                                
hbase(main):040:0> put 'test_lilin','r2','f:name','bb'
Took 0.0033 seconds                                                                                                                                                                                                
hbase(main):041:0> scan 'test_lilin'
ROW                                                   COLUMN+CELL                                                                                                                                                  
 r1                                                   column=f:age, timestamp=1597891837030, value=11                                                                                                              
 r1                                                   column=f:name, timestamp=1597891869030, value=aa                                                                                                             
 r2                                                   column=f:age, timestamp=1597892816356, value=2                                                                                                               
 r2                                                   column=f:name, timestamp=1597892829147, value=bb                                                                                                             
2 row(s)
Took 0.0065 seconds
`青冘`
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hbase Region 部分丢失 原因和解决方法
yy的博客
03-23 2591
现象 Hbase突然某个key无法写入. 去hbase master管理页面发现 region少了一个. 正常是 0-1 1-2 2-3 .... 8-9 >9 但是 6-7的部分不显示了.但是建表的时候是创建了的. 所以region丢失. 原因 后排查发现现场升级hadoop,没有停止hbase服务,可能hbase此时在region自动分裂或者其他操作导致hbase元数据错误,region信息丢失. 解决方法 通过两个linux命令搞定. hbase hbck -fixMeta
hive误删表，数据恢复
mACID_lys的博客
02-16 2419
本文删除的表时hive的分区表，parquet格式snappy压缩。有分桶 首先你要知道你的hdfs回收站是否开启 找到你的回收站里的刚才删除的hive表数据的文件，前提是你的表示drop的，而不是truncate的，truncate的表数据我暂时不知道能不能恢复 我们hive表删除的数据是在 标记1 的这个文件里（Current）这个需要看你的配置和个人的登陆服务器情况，但是一定不会在标记2这里 新建原表 CREATE TABLE `hive_na
HBase误删数据如何抢救？
分析猿
11-20 514
相信大家都有这样的经历，操作数据库的时候不小心误删除了数据，轻则被公司 处罚，重则开除。别慌，今天较你一招数据即可失而复得，mysql 里有 binlog 可以帮助我们恢复数据，但是没有开 binlog 也没有备份就尴尬了。如果是 HBase， 你没有做备份误删了又如何恢复呢？ 数据保护 当误删数据发生时候，不管三七二十一，***要务是进入 hbase shell，执行如下 命令： 如果误删一张表的有多个 family 里的数据，需要都执行一下： 设置 KEEP_DELETED_CELLS 为 True 的
Hbase的基于快照的表修复
qq_43688472的博客
03-09 585
Hdfs的快照原理 1.1 快照原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 快照分两种：一种是建立文件系统的索引，每次更新文件不会真正的改变文件，而是新开辟一个空间用来保存更改的文件，一种是拷贝所有的文件系统。Hdfs属于前者。 Hdfs的快照的特征如下： 快照的创建是瞬间的，代价为O(1)，取决...
HBase的备份和还原
share_free的博客
07-06 1164
1）HBase热备份的方法 （2）HBase热备的还原 （3）HBase冷备份 （4）HBase冷备的还原一 （1）启动Hbase ./start-hbase.sh（2）创建表 hbase shell create ‘test’,{NAME=>’CF’,VERSIONS=>3}3.导出数据 hadoop dfs -ls / ./hbase org.apache.hadoop.h
Hbase恢复误删数据
摩西YF拉比
04-06 5558
1.hdfs的回收站机制     客户有时会误删一些数据，在生产环境下，误删数据会造成非常严重的后果。     在hdfs上有一个回收站的设置，可以将删除的数据存在目录”/user/$/.Trash/”中，设置回收站的参数如下： fs.trash.interval=0     以分钟为单位的垃圾回收时间，垃圾站中数据超过此时间，会被删除。如果是0，垃圾回收机
数据误删，跑路还是挽救？一种HBase数据误删后快速挽救方法
石榴姐yyds
04-06 443
数据误删是一个老生常谈的问题，在不同的数据库中有不同的恢复策略，那么数据误删后如何第一时间抢救呢？以保证损失最小呢？。本文针对HBase数据库数据误删后进行分析，阐述了如果没有提前做好备份策略情况下，数据误删后，如何快速挽救的问题。文中分析了HBase中数据删除的基本原理，给出了如何在第一时间抢救方法，并进行了实验验证，读者可根据本文步骤进行尝试。
HBase误删数据的恢复
chengyu1850的博客
06-27 1066
解决办法： a、 首先关闭 “major_compact” 任务（这个是个自动任务，合并文件，清除删除、过期、多余版本的数据的。Hbase 中的数据是有多个时间戳版本的，对于删除的数据，并没有直接删除，而是打上了标记。这个任务会清理，所以先关闭它，要不会丢失数据。）。 ...
hbase备份和数据恢复
06-29
HBase备份和数据恢复是系统运维中至关重要的一环，确保了业务连续性和数据安全性。同时，HBase与其他大数据组件如Hive和HDFS的交互也是日常操作中的常见需求。 一、HBase备份和数据恢复 1. HBase的数据模型：HBase...
HBase数据模型解析和基本的表设计分析
02-24
最近在学习HBase的使用，并仔细阅读了一篇官方推荐的博客，在这里就以一边翻译一边总结的方式和大家一起梳理一下HBase的数据模型和基本的表设计思路。HBase是一个开源可伸缩的针对海量数据存储的分布式nosql数据库，...
[案例]从冷备份的hdfs数据中恢复到原来的hbase表
04-08
介绍了从之前冷备份到hdfs的Hbase数据中恢复数据到hbase表的操作流程，使用的hbase-1.1，hadoop-2.7
HBase数据容灾技术方案
02-26
No-SQL、云计算、海量数据分析的普及，使我们越来越关注系统的可靠性（HighAvailability），数据容灾/数据恢复是高可用系统的一个很重要的技术组成，本文由简入深，一步步搭建一个HBase数据集群，并详细说明生产环境...
通用MapReduce程序复制HBase表数据
12-16
《通用MapReduce程序复制HBase表数据》 MapReduce是一种分布式计算模型，常用于处理海量数据，而HBase是基于Hadoop的分布式数据库，适用于大数据存储。本文将深入探讨如何编写一个通用的MapReduce程序，实现HBase表...
java代码将mysql表数据导入HBase表
最新发布
03-14
本文将详细介绍如何使用Java代码实现这一过程，包括样例MySQL表和数据，以及HBase表的创建。 首先，我们需要了解MySQL和HBase的基本概念。MySQL是一种关系型数据库管理系统，它基于ACID（原子性、一致性、隔离性和...
【分布式存储数据恢复】hbase和hive数据库底层文件被误删怎么恢复数据？
beiya123的博客
12-16 757
分布式存储数据恢复环境： 16台物理服务器，每台物理服务器上有数台虚拟机； 虚拟机上配置分布式，上层部署hbase数据库和hive数据库。 分布式存储故障&分析： 误删除数据库底层文件，数据库不能使用。需要恢复hbase和hive数据库。 通过现场对用户环境的检测，数据恢复工程师发现虚拟机还可以正常启动，虚拟机上的数据库块文件丢失。块文件丢失之后没有新的数据写入操作，底层的数据损坏可能性比较小。
hadoop hbase logs目录下日志越来越多，写个简单的脚本备份删除一下
程序之路
08-23 4573
#!/bin/sh  #backup hadoop&hbase logs which are 30 days ago, and delete them      cd /work/hadoop-0.20.203.0/logs    today=`date +%Y-%m-%d`  find . -mtime +30 -print > /tmp/hadooplogslist-$today    if
HDFS和Hbase误删数据恢复
热门推荐
大明湖里有蛤蟆
09-07 1万+
1.hdfs的回收站机制         客户有时会误删一下数据，是在生产环境下，误删数据会造成非常严重的后果。 2.hbase表删除恢复 如果disable+drop误删了hbase表数据，数据不会放到回收站中，hbase有自己的一套删除策略。 fs.trash.interval=0         以分钟为单位的垃圾回收时间，垃圾站中数据超过此时间，会被删除。如果是0，
linux下hbase数据库表恢复,HBase的数据备份与恢复机制BDR
weixin_42519161的博客
05-08 301
一、快照机制snapshots简单在hbase上做个表做测试：hbase(main):044:0> scan 'student'ROW COLUMN+CELLnum1 column=shuxing:name, timestamp=1412189531346, value=jaybing...
hbase 数据导出乱码_通过hbase快照备份恢复数据流程
05-16
下面是通过HBase快照备份恢复数据的流程： 1. 创建快照 使用以下命令创建HBase表的快照： ``` hbase snapshot 'table1', 'snapshot1' ``` 其中，table1为要备份的表名，snapshot1为快照名。 2. 备份快照 将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值