HBase Filter使用简要

最新推荐文章于 2023-12-20 10:52:51 发布
最新推荐文章于 2023-12-20 10:52:51 发布
阅读量339 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bajinsheng/article/details/100132725
版权

创建表

create 'test1', 'lf', 'sf'

lf: column family of LONG values (binary value)
– sf: column family of STRING values

导入数据

put 'test1', 'user1|ts1', 'sf:c1', 'sku1'
put 'test1', 'user1|ts2', 'sf:c1', 'sku188'
put 'test1', 'user1|ts3', 'sf:s1', 'sku123'

put 'test1', 'user2|ts4', 'sf:c1', 'sku2'
put 'test1', 'user2|ts5', 'sf:c2', 'sku288'
put 'test1', 'user2|ts6', 'sf:s1', 'sku222'

一个用户（userX），在什么时间（tsX），作为rowkey对什么产品（value：skuXXX），做了什么操作作为列名，比如，c1: click from homepage; c2: click from ad; s1: search from homepage; b1: buy

查询案例

谁的值=sku188

scan 'test1', FILTER=>"ValueFilter(=,'binary:sku188')"

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188

谁的值包含88

scan 'test1', FILTER=>"ValueFilter(=,'substring:88')"

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288

通过广告点击进来的(column为c2)值包含88的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('c2') AND ValueFilter(=,'substring:88')"

ROW                          COLUMN+CELL                                                                       
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288

通过搜索进来的(column为s)值包含123或者222的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('s') AND ( ValueFilter(=,'substring:123') OR ValueFilter(=,'substring:222') )"

ROW                          COLUMN+CELL                                                                       
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123                               
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222

rowkey为user1开头的

scan 'test1', FILTER => "PrefixFilter ('user1')"

ROW                          COLUMN+CELL                                                                       
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1                                 
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

FirstKeyOnlyFilter: 一个rowkey可以有多个version,同一个rowkey的同一个column也会有多个的值, 只拿出key中的第一个column的第一个version
KeyOnlyFilter: 只要key,不要

valuescan 'test1', FILTER=>"FirstKeyOnlyFilter() AND ValueFilter(=,'binary:sku188') AND KeyOnlyFilter()"

ROW                          COLUMN+CELL                                                                       
 user1|ts2                   column=sf:c1, timestamp=1409122354918, value=

从user1|ts2开始,找到所有的rowkey以user1开头的

scan 'test1', {STARTROW=>'user1|ts2', FILTER => "PrefixFilter ('user1')"}

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

从user1|ts2开始,找到所有的到rowkey以user2开头

scan 'test1', {STARTROW=>'user1|ts2', STOPROW=>'user2'}

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

查询rowkey里面包含ts3的import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('ts3'))}

ROW                          COLUMN+CELL                                                                       
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

查询rowkey里面包含ts的import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('ts'))}

ROW                          COLUMN+CELL                                                                       
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1                                 
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123                               
user2|ts4                   column=sf:c1, timestamp=1409122354998, value=sku2                                 
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288                               
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222

加入一条测试数据

put 'test1', 'user2|err', 'sf:s1', 'sku999'

查询rowkey里面以user开头的，新加入的测试数据并不符合正则表达式的规则，故查询不出来

import org.apache.hadoop.hbase.filter.RegexStringComparator
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),RegexStringComparator.new('^user\d+\|ts\d+$'))}

ROW                          COLUMN+CELL                                                                       
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1                                 
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123                               
user2|ts4                   column=sf:c1, timestamp=1409122354998, value=sku2                                 
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288                               
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222

加入测试数据

put 'test1', 'user1|ts9', 'sf:b1', 'sku1'

b1开头的列中并且值为sku1的

scan 'test1', FILTER=>"ColumnPrefixFilter('b1') AND ValueFilter(=,'binary:sku1')"

ROW                          COLUMN+CELL                                                                       
user1|ts9                   column=sf:b1, timestamp=1409124908668, value=sku1

SingleColumnValueFilter的使用，b1开头的列中并且值为sku1的

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
scan 'test1', {COLUMNS => 'sf:b1', FILTER => SingleColumnValueFilter.new(Bytes.toBytes('sf'), Bytes.toBytes('b1'), CompareFilter::CompareOp.valueOf('EQUAL'), Bytes.toBytes('sku1'))}

ROW                          COLUMN+CELL                                                                       
user1|ts9                   column=sf:b1, timestamp=1409124908668, value=sku1

hbase zkcli 的使用

hbase zkcli
ls /
[hbase, zookeeper]

[zk: hadoop000:2181(CONNECTED) 1] ls /hbase
[meta-region-server, backup-masters, table, draining, region-in-transition, running, table-lock, master, namespace, hbaseid, online-snapshot, replication, splitWAL, recovering-regions, rs]

[zk: hadoop000:2181(CONNECTED) 2] ls /hbase/table
[member, test1, hbase:meta, hbase:namespace]

[zk: hadoop000:2181(CONNECTED) 3] ls /hbase/table/test1
[]

[zk: hadoop000:2181(CONNECTED) 4] get /hbase/table/test1
?master:60000}l$??lPBUF
cZxid = 0x107
ctime = Wed Aug 27 14:52:21 HKT 2014
mZxid = 0x10b
mtime = Wed Aug 27 14:52:22 HKT 2014
pZxid = 0x107
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 31
numChildren = 0
hbase shell Filter
小魏的博客
07-04 7227
数据： hbase(main):046:0> scan 'hbaseFilter' ROW COLUMN+CELL
hbase java api 查询_hbase查询api的基本使用
weixin_29928877的博客
02-13 919
HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。项目中用到了hbase数据库，因为查询方式和以前用过的数据库很不同所以，想将摸索过程记录下来以便之后查看。hbase查询最大的不同在于它使用了rowkey，通过扫描rowkey可以最快速的对数据进行查询，所以在建表初期rowkey的设计工...
HBase基础之常用过滤器hbase shell操作
qq85609655的博客
10-22 204
最近需要对hbase进行性能优化，苦于对hbase的scan命令语法不熟悉，遂网上搜了点资料，觉得不错，给予记下。     创建表 create 'test1', 'lf', 'sf' lf: column family of LONG values (binary value) -- sf: column family of STRING values   导入数据 put...
hbase filter shell 操作
Dongea的博客
08-10 386
创建表create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value)-- sf: column family of STRING values 导入数据put 'test1', 'user1|ts1', 'sf:c1', 'sku1'put 'test1', 'user1|ts2', 's
HBase通过Java利用过滤器简单查询数据
weixin_47878012的博客
12-04 789
通过RowFilter过滤rowKey 比0003小的所有值 @Test /* * 使用RowFilter过滤器查询*/ public void rowFileter()throws IOException { Scan scan = new Scan(); //查询所有rowkey比0003小的数据 /* * 使用rowFileter查询比0003小的所有数据 * rowkey过滤器*/
Hbase shell 过滤器（1）（实例讲解）
qq_51644702的博客
12-01 2727
在HBase中，过滤器的作用类似与SQL中的where查询 过滤器包括：行键过滤器、列族与列过滤器、值过滤器、时间过滤器、分页过滤器等 使用过滤器的语法格式： 注意： FILTER（大写） scan ‘表名’, { FILTER => “过滤器(比较运算符, ‘比较器’)” } 使用的表： 一、行键过滤器 知识点： 1、行键过滤器 RowFilter 2、比较器：（1）准确查询：binary （2）模糊查询：substring（不支持>或者<运算符） ...
HBase Scan命令详解
zy353003874的博客
09-16 1万+
hbase中scan命令是我们经常使用到的，而filter的作用尤其强大。这里简要的介绍下scan下filter命令的使用. 插入scan命令需要的数据 这里模拟了部分微博评论的数据,然后使用代码插入数据到hbase,代码就不列出来了比较简单。 public class Comment { //1-->普通文章，2--->热点文章 Integer articleType; //文章id String articleId; String userId;
Hbase入门到实操
默主归沙的博客
06-03 1470
Nosql中列式存储之Hbase知识讲解。
hbase 查询设置超时_HBase 客户端避坑指南
weixin_39690105的博客
12-19 1425
原标题：HBase 客户端避坑指南1.RPC重试配置要点在HBase客户端到服务端的通信过程中，可能会碰到各种各样的异常。例如有几种常见导致重试的异常：● 待访问Region所在的RegionServer发生宕机，此时Region已经被挪到一个新的RegionServer上，但由于客户端meta缓存的因素，首次RPC请求仍然访问到了老的RegionServer上。后续将重试发起RPC。● 服务端负...
大数据-Hbase
m0_58818478的博客
01-11 892
文章目录1、HBase基本介绍HBase的发展历程2、HBase与Hadoop的关系2.1、HDFS2.2、HBase3、HBase特征简要1）海量存储2）列式存储3）极易扩展4）高并发5）稀疏4、HBase的基础架构1、HMaster2、RegionServer5、HBase的集群环境搭建5.1、下载对应的HBase的安装包5.2、压缩包上传并解压5.3、修改配置文件修改第一个配置文件hbase-env.sh修改第二个配置文件hbase-site.xml修改第三个配置文件regionservers创建ba
【大数据存储与处理】实验二 HBase 过滤器操作
最新发布
记录我的学习历程
12-20 1753
【实验目的】： 1.掌握使用 HBase 过滤器进行全表扫描。
Hbase过滤器
m0_51691291的博客
12-02 2118
Hbase过滤器1、比较过滤器1.1、比较运算符1.2、比较器1.3、常见比较过滤器1.3.1、RowFilter 过滤器示例1.3.2、FamilyFilter示例1.3.3、QualifierFilter 示例1.3.4、ValueFilter示例2、专用过滤器2.1、单列值过滤器2.2、列值排除过滤器2.3、rowkey前缀过滤器2.4、分页过滤器3、多过滤器综合查询 过滤器的作用： 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端 过滤器的类型很多，但是可以分为两大类
使用filter（过滤器）按照条件查询hbase
tianqinglei的博客
08-30 3185
1.1. hbase过滤器 1.1.1. FilterList FilterList 代表一个过滤器列表，可以添加多个过滤器进行查询，多个过滤器之间的关系有： 与关系（符合所有）：FilterList.Operator.MUST_PASS_ALL   或关系（符合任一）：FilterList.Operator.MUST_PASS_ONE   使用方法： FilterList 
HBase中的过滤器
12-23 918
熟悉mysql,oracl,sqlserver的朋友,对过滤器肯定不会陌生,可以对内容进行正则表达式的匹配等.而Hbase中的过滤器是于数据读取类get和scan来结合适用,用于更细粒度的获取数据  一.Hbase中的过滤器的类继承层次结构     在过滤器最底层的是Filter接口和FilteBase类,还有一类特殊的过滤器继承自CompareFilter     先来说明下继承自Comp
HBase shell scan命令中filter的使用
无他，唯程序尔
06-29 2万+
在hbase shell中使用scan命令时，可以使用filter来过滤记录。 这儿说明使用SingleColumnValueFilter来进行过滤的情况。
hbase scan 部分用法
iris_csdn的博客
05-19 1953
1、创建两张测试表 hbase(main):044:0> create 'rtusers','address','info'; put 'rtusers','05','address:city','guangzhou'; put 'rtusers','05','address:contry','china'; put 'rtusers','05','address:province','zhejiang'; put 'rtusers','05','info:age','31'; put 'rtus
HBase内置过滤器的一些总结
热门推荐
01-20 4万+
HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryCompar
hbase shell filter 过滤器用法总结
beautiful_huang的博客
12-24 2513
比较器： 前面例子中的regexstring:2014-11-08.、binary:\x00\x00\x00\x05，这都是比较器。HBase的filter有四种比较器： （1）二进制比较器：如’binary:abc’，按字典排序跟’abc’进行比较 （2）二进制前缀比较器：如’binaryprefix:abc’，按字典顺序只跟’abc’比较前3个字符 （3）正则表达式比较器：如’regexstr...
HBase查询优化：Filter详解与应用
"这篇资源主要涉及HBase的查询方法，特别是使用过滤器（filter）进行高效查询。提供了多个不同类型的过滤器，包括比较过滤器、专用过滤器和装饰过滤器的介绍及示例代码，旨在帮助用户理解并应用HBase的查询技术。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值