HBase实现记录定期定量删除

最新推荐文章于 2023-02-17 11:24:04 发布
最新推荐文章于 2023-02-17 11:24:04 发布
阅读量526 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/roszhaodan481/article/details/26528497
版权

文中可能涉及到的API：

Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/

HBase: http://hbase.apache.org/apidocs/index.html?overview-summary.html

HBase如何实现定期定量的删除记录？

使用场景分析：我们在HBase中存储的记录可能有一些是增速很快且又不需要永久保存的，比如大量的“系统日志”，也许只需保存最近几个月记录便可。我们的存储空间又很有限，尤其是HDFS这种多副本容灾存储。再加上HBase在存储每一行数据时，分别要为每一列保存一份rowKey，如果一行有10列，光rowKey就要存储10份，开销可想而知。因此定期定量删除的功能也就成了普遍的需求。

一、如何定期删除数据？

使用表格级的属性：TTL（Time To Live），设置记录的有效期，当前时间超过记录有效期后该记录将被自动删除。记录的有效期 = TimeStamp + TTL；

二、如何在数据超过阈值时删除数据？

比如我们限定某张表最多占用约1T的空间，当数据超过1T时就删除表中最老的一部分数据。

1、在HDFS层面，获取表格占用空间。

通过Configuration实例创建FileSystem实例，调用Fs的Path获取表格目录的ContentSummary实例，再调用

通过hbase api中scan的setTimeRange方法完成待删除的数据筛选，然后删之~

文献：http://www.verydemo.com/demo_c101_i46734.html

roszhaodan481
关注
HBase实现定期定量删除MySQL记录
BjmmVue的博客
10-08 65
通过将MySQL记录导入HBase表中，并使用HBase的定时任务或调度工具定期删除记录，我们可以有效地管理和清理MySQL数据。上述代码通过JDBC连接MySQL数据库，并使用HBase Java API将MySQL记录导入HBase表中。上述代码示例演示了如何使用HBase的Java API定期删除HBase表中的MySQL记录。创建HBase表：首先，我们需要在HBase中创建一个表，用于存储需要删除的MySQL记录的信息。导入MySQL记录：将需要删除的MySQL记录导入HBase表中。
用ApacheZeppelin进行基于SQL的数据查询和分析
最新发布
AI天才研究院
07-19 3070
作者：禅与计算机程序设计艺术 Apache Zeppelin 是一款开源的、基于 Web 的交互式数据分析平台。其提供基于 SQL 的查询语言、可视化图表展示功能、SQL 代码自动补全、多种编程语言支持、数据导入导出功能等。Zeppelin 支持大数据处理、机器学习、流计算、金融数据分析等场景，可用于企业内部系统的快速开发与部署，也适合作
sh文件定时删除hbase表中的数据
qq_28429443的博客
06-11 1004
1.先在系统中建一个txt文件； vi test.txt 然后在test文件中添加要执行的hbase shell语句 truncate test exit （hbase 命令执行后不会自动退出，所以执行exit 这个命令强制退出） 2.新建一个.sh文件 vi test.sh 然后在.sh文件中写入 hbase shell /root/test/test.txt（后面的地址要详细的文件地址） 然后...
通过时间戳批量删除hbase的数据
qinglanmei的博客
01-22 8351
如何通过时间戳批量删除hbase的数据 我们使用hive关联hbase插入数据时，有时会写错数据，此时hbase中的数据量已经很大很大了（上亿）。此时，我们要修改错误的数据，只需要删除写错的那部分数据就可以了，但是很遗憾，hbase中没有这样的sql语句（hbase是不能用SQL操作的，这里概指hbase的一套数据库操作语言），怎么办呢。。。 网上找了下，看了这个大佬的方法感觉确实可以。请先移...
Hbase 批量删除
qq_27593415的博客
11-15 4939
hbase定期批量删除 /** * 删除一段时间的表记录 * * @param c * @param minTime * @param maxTime */ public static void deleteTimeRange(String tableName, Long minTime, Long maxTime) {
定时删除线上日志
weixin_34184158的博客
10-04 165
使用场景 接手的项目日志的量太大，经常让机器磁盘报警，频率非常高，查看后发现并不是所有的日志文件都很大，而是某几个日志文件比较大，使用的是DailyRollingFileAppender，每天都会产生一个大的日志文件，格式基本是文件名加日期，cndata.log.2016-09-27，这几个日志文件也不太重要，所以想用定时任务当磁盘使用率到达一定的数量后...
HBase实现分页浏览
胡同里的庇护所(Pirate Leo's Shelter)
08-29 2万+
文中可能涉及到的API： Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/ HBase: http://hbase.apache.org/apidocs/index.html?overview-summary.html Begin！ 最近做的项目用到了HBase处理海量的数据记录，并在前端UI提供了查询浏览功能。
实现Redis亿级存储的方案
skyito88的博客
03-26 1093
1 需求背景 该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称supperid）的mapping关系，还包括了supperid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、ip等数据。 在hdfs的帮助下离线存储千亿记录并不困难，然而DMP还需要提供毫秒级的实时查询。由于cookie这种id本身具有不稳定性，所以很多的真实用户的浏览行为会导致大量的新cookie生成，只有及时同步mapping
阿里实现Redis亿级存储的方案
鸿蒙开发知识记录
03-05 1501
1 需求背景 该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称supperid）的mapping关系，还包括了supperid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、ip等数据。 在hdfs的帮助下离线存储千亿记录并不困难，然而DMP还需要提供毫秒级的实时查询。由于cookie这种...
【hbase】按时间段批量删除hbase数据
weixin_43990455的博客
02-17 2544
背景是华为大数据平台mrs，这里运用到HDFS、Hive、HBase；数据通过接口接入到hbase，用hive创建hbase外部表。需求是某段时间数据有问题，需要删掉重新补入。
HBase删除表中数据
热门推荐
一度凡尘的专栏
08-15 2万+
1、使用hbase shell中delete命令删除表中特定的单元格数据，命令格式如下：delete 'tablename','row','column name','time stramp'删除emp表中第二行personal data:name列、时间节点为1502182102866的记录：delete 'emp','2','personal data:name',1502182102866删除
hbase数据删除的辛酸
程序的简单生活
05-27 1万+
以下是记录公司在删除历史数据的这个过程： 背景：      公司需要需要一套运营平台，服务器3台（hadoop）,怎么安装这里就不在讲解。 删除数据的驱动：        由于说需要做数据挖掘，不让删除数据，就一直没有删除数据，总共10T产的占用了8-9T了，服务器天天报警，大半夜起来解决问题，真心受不了，就算需要做数据挖掘，也不需这样做啊，可以存加工的数据啊，也不会全部把
HBase按照TimeStamp删除数据
weixin_30396699的博客
08-20 590
#!/bin/bash #两种时间输入，一种是输入起始日期，另一种是直接输入hbase里面数据的起始时间戳 if [ $# != 5 ];then echo 'usage:sh byTimestampRange.sh table "d:pri_key" d "2018-01-22 17:11:52" "2018-01-22 17:14:53"' ...
hbase根据时间戳删除数据
hochoy的博客
09-13 7868
hbase shell 或者脚本删除数据一般都根据rowkey进行操作，因此，此处还是要先根据时间戳范围找出rowkey，然后进行deleteall 操作，以下简单分四步进行操作 #第一步：通过时间戳找到要删除的数据 #第二步：构建删除数据的shell #第三步：给delete_all_by_rowkey.sh 加可执行权限 执行删除shell #!/bin/bash -l ec...
HBase如何批量删除指定数据
weixin_42821133的博客
05-14 1821
Hbase如何批量删除指定数据 有时我们需要批量删除一些hbase中符合某些条件的数据，本文提供一种简单的shell命令的方式批量删除hbase里的数据。思路就是，建立hive与hbase的关联表，通过hive sql查询出符合条件的数据rowkey导出到本地文件，然后通过hbase shell批量删除。示例如下: 1 创建hbase 表 #创建表名为“test:user_blacklist”,列簇名为“user”的hbase表 #hbase 表 create 'test:user_blacklist',
Hbase如何批量删除指定数据
.
08-31 7445
一、北京： 　　Hbase是一个列式存储，nosql类型的数据库，类似mongodb。 我们都知道Hbase是一个Nosql的分布式存储数据引擎,它可以支持千万级别的QPS写入,但是有时候我们需要批量的删除他的数据,目前似乎没有提供批量删除的方法，只有一个单行删除的命令：deleteall 'tablename', rowkey 二、删除方法： 　　方法一：通过写 shell 脚本，从 hbase shell 查出需要删除的 rowkey ，拼成删除命令（deleteall 'ta...
信息技术基础
雪国的花儿’s Blog
09-04 3153
信息系统基础知识 1. 信息系统的生命周期 2. 信息系统的开发方法 3. 信息系统的生命周期模型 4. 信息系统开发过程 1. 信息系统的生命周期 2. 信息系统的开发方法 3. 信息系统的生命周期模型 4. 信息系统开发过程 面向对象技术 1. 类和对象 对象 =属性+方法 对象是类的实例，类是对象的模板 继承：子类继承父类 泛化：(generalization)，父类是子类的泛化。继承关系的反关系，用于描述父类与子类之间的关系，父类又称作基类或超类，子类又称作派生类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值