HBase Filter使用简要

最新推荐文章于 2023-09-01 08:35:19 发布
最新推荐文章于 2023-09-01 08:35:19 发布
阅读量340 收藏 1
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bajinsheng/article/details/100132725
版权

创建表

create 'test1', 'lf', 'sf'

lf: column family of LONG values (binary value)
– sf: column family of STRING values

导入数据

put 'test1', 'user1|ts1', 'sf:c1', 'sku1'
put 'test1', 'user1|ts2', 'sf:c1', 'sku188'
put 'test1', 'user1|ts3', 'sf:s1', 'sku123'

put 'test1', 'user2|ts4', 'sf:c1', 'sku2'
put 'test1', 'user2|ts5', 'sf:c2', 'sku288'
put 'test1', 'user2|ts6', 'sf:s1', 'sku222'

一个用户（userX），在什么时间（tsX），作为rowkey对什么产品（value：skuXXX），做了什么操作作为列名，比如，c1: click from homepage; c2: click from ad; s1: search from homepage; b1: buy

查询案例

谁的值=sku188

scan 'test1', FILTER=>"ValueFilter(=,'binary:sku188')"

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188

谁的值包含88

scan 'test1', FILTER=>"ValueFilter(=,'substring:88')"

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288

通过广告点击进来的(column为c2)值包含88的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('c2') AND ValueFilter(=,'substring:88')"

ROW                          COLUMN+CELL                                                                       
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288

通过搜索进来的(column为s)值包含123或者222的用户

scan 'test1', FILTER=>"ColumnPrefixFilter('s') AND ( ValueFilter(=,'substring:123') OR ValueFilter(=,'substring:222') )"

ROW                          COLUMN+CELL                                                                       
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123                               
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222

rowkey为user1开头的

scan 'test1', FILTER => "PrefixFilter ('user1')"

ROW                          COLUMN+CELL                                                                       
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1                                 
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

FirstKeyOnlyFilter: 一个rowkey可以有多个version,同一个rowkey的同一个column也会有多个的值, 只拿出key中的第一个column的第一个version
KeyOnlyFilter: 只要key,不要

valuescan 'test1', FILTER=>"FirstKeyOnlyFilter() AND ValueFilter(=,'binary:sku188') AND KeyOnlyFilter()"

ROW                          COLUMN+CELL                                                                       
 user1|ts2                   column=sf:c1, timestamp=1409122354918, value=

从user1|ts2开始,找到所有的rowkey以user1开头的

scan 'test1', {STARTROW=>'user1|ts2', FILTER => "PrefixFilter ('user1')"}

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

从user1|ts2开始,找到所有的到rowkey以user2开头

scan 'test1', {STARTROW=>'user1|ts2', STOPROW=>'user2'}

ROW                          COLUMN+CELL                                                                       
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

查询rowkey里面包含ts3的import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('ts3'))}

ROW                          COLUMN+CELL                                                                       
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123

查询rowkey里面包含ts的import org.apache.hadoop.hbase.filter.CompareFilter

import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'), SubstringComparator.new('ts'))}

ROW                          COLUMN+CELL                                                                       
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1                                 
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123                               
user2|ts4                   column=sf:c1, timestamp=1409122354998, value=sku2                                 
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288                               
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222

加入一条测试数据

put 'test1', 'user2|err', 'sf:s1', 'sku999'

查询rowkey里面以user开头的，新加入的测试数据并不符合正则表达式的规则，故查询不出来

import org.apache.hadoop.hbase.filter.RegexStringComparator
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.filter.RowFilter
scan 'test1', {FILTER => RowFilter.new(CompareFilter::CompareOp.valueOf('EQUAL'),RegexStringComparator.new('^user\d+\|ts\d+$'))}

ROW                          COLUMN+CELL                                                                       
user1|ts1                   column=sf:c1, timestamp=1409122354868, value=sku1                                 
user1|ts2                   column=sf:c1, timestamp=1409122354918, value=sku188                               
user1|ts3                   column=sf:s1, timestamp=1409122354954, value=sku123                               
user2|ts4                   column=sf:c1, timestamp=1409122354998, value=sku2                                 
user2|ts5                   column=sf:c2, timestamp=1409122355030, value=sku288                               
user2|ts6                   column=sf:s1, timestamp=1409122355970, value=sku222

加入测试数据

put 'test1', 'user1|ts9', 'sf:b1', 'sku1'

b1开头的列中并且值为sku1的

scan 'test1', FILTER=>"ColumnPrefixFilter('b1') AND ValueFilter(=,'binary:sku1')"

ROW                          COLUMN+CELL                                                                       
user1|ts9                   column=sf:b1, timestamp=1409124908668, value=sku1

SingleColumnValueFilter的使用，b1开头的列中并且值为sku1的

import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
scan 'test1', {COLUMNS => 'sf:b1', FILTER => SingleColumnValueFilter.new(Bytes.toBytes('sf'), Bytes.toBytes('b1'), CompareFilter::CompareOp.valueOf('EQUAL'), Bytes.toBytes('sku1'))}

ROW                          COLUMN+CELL                                                                       
user1|ts9                   column=sf:b1, timestamp=1409124908668, value=sku1

hbase zkcli 的使用

hbase zkcli
ls /
[hbase, zookeeper]

[zk: hadoop000:2181(CONNECTED) 1] ls /hbase
[meta-region-server, backup-masters, table, draining, region-in-transition, running, table-lock, master, namespace, hbaseid, online-snapshot, replication, splitWAL, recovering-regions, rs]

[zk: hadoop000:2181(CONNECTED) 2] ls /hbase/table
[member, test1, hbase:meta, hbase:namespace]

[zk: hadoop000:2181(CONNECTED) 3] ls /hbase/table/test1
[]

[zk: hadoop000:2181(CONNECTED) 4] get /hbase/table/test1
?master:60000}l$??lPBUF
cZxid = 0x107
ctime = Wed Aug 27 14:52:21 HKT 2014
mZxid = 0x10b
mtime = Wed Aug 27 14:52:22 HKT 2014
pZxid = 0x107
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 31
numChildren = 0
纸房子
关注
专栏目录
hbase shell Filter
小魏的博客
07-04 7227
数据： hbase(main):046:0> scan 'hbaseFilter' ROW COLUMN+CELL
hbase java api 查询_hbase查询api的基本使用
weixin_29928877的博客
02-13 919
HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。项目中用到了hbase数据库，因为查询方式和以前用过的数据库很不同所以，想将摸索过程记录下来以便之后查看。hbase查询最大的不同在于它使用了rowkey，通过扫描rowkey可以最快速的对数据进行查询，所以在建表初期rowkey的设计工...
HBase基础之常用过滤器hbase shell操作
qq85609655的博客
10-22 204
最近需要对hbase进行性能优化，苦于对hbase的scan命令语法不熟悉，遂网上搜了点资料，觉得不错，给予记下。     创建表 create 'test1', 'lf', 'sf' lf: column family of LONG values (binary value) -- sf: column family of STRING values   导入数据 put...
hbase filter shell 操作
Dongea的博客
08-10 386
创建表create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value)-- sf: column family of STRING values 导入数据put 'test1', 'user1|ts1', 'sf:c1', 'sku1'put 'test1', 'user1|ts2', 's
HBase通过Java利用过滤器简单查询数据
weixin_47878012的博客
12-04 792
通过RowFilter过滤rowKey 比0003小的所有值 @Test /* * 使用RowFilter过滤器查询*/ public void rowFileter()throws IOException { Scan scan = new Scan(); //查询所有rowkey比0003小的数据 /* * 使用rowFileter查询比0003小的所有数据 * rowkey过滤器*/
Hbase批量查询-scan介绍
热门推荐
kw-home
04-16 4万+
1.scan原理 HBase的查询实现只提供两种方式： 1、按指定RowKey 获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get） Get 的方法处理分两种 : 设置了ClosestRowBefore 和没有设置的rowlock .主要是用来保证行的事务性，即每个get 是以一个row 来标记的.一个row中可以有很多family 和colu...
HBase Scan命令详解
zy353003874的博客
09-16 1万+
hbase中scan命令是我们经常使用到的，而filter的作用尤其强大。这里简要的介绍下scan下filter命令的使用. 插入scan命令需要的数据 这里模拟了部分微博评论的数据,然后使用代码插入数据到hbase,代码就不列出来了比较简单。 public class Comment { //1-->普通文章，2--->热点文章 Integer articleType; //文章id String articleId; String userId;
Hbase入门到实操
默主归沙的博客
06-03 1472
Nosql中列式存储之Hbase知识讲解。
hbase 查询设置超时_HBase 客户端避坑指南
weixin_39690105的博客
12-19 1430
原标题：HBase 客户端避坑指南1.RPC重试配置要点在HBase客户端到服务端的通信过程中，可能会碰到各种各样的异常。例如有几种常见导致重试的异常：● 待访问Region所在的RegionServer发生宕机，此时Region已经被挪到一个新的RegionServer上，但由于客户端meta缓存的因素，首次RPC请求仍然访问到了老的RegionServer上。后续将重试发起RPC。● 服务端负...
大数据-Hbase
m0_58818478的博客
01-11 895
文章目录1、HBase基本介绍HBase的发展历程2、HBase与Hadoop的关系2.1、HDFS2.2、HBase3、HBase特征简要1）海量存储2）列式存储3）极易扩展4）高并发5）稀疏4、HBase的基础架构1、HMaster2、RegionServer5、HBase的集群环境搭建5.1、下载对应的HBase的安装包5.2、压缩包上传并解压5.3、修改配置文件修改第一个配置文件hbase-env.sh修改第二个配置文件hbase-site.xml修改第三个配置文件regionservers创建ba
Hbase shell scan命令解析
麻雀加
01-22 2万+
namespace 命名空间是与关系数据库系统中的数据库类似的表的逻辑分组。这种抽象为即将出现的多租户相关功能奠定了基础： 配额管理（HBASE-8410） - 限制命名空间可以使用的资源量（即区域，表）。 命名空间安全管理（HBASE-9206） - 为租户提供另一级别的安全管理。 区域服务器组（HBASE-6721） - 可以将命名空间/表固定到RegionServers的子集上，...
HBase扫描和过滤器优化
最新发布
互联网知识分享
09-01 856
中被广泛应用于数据检索和过滤操作，包括缓存过滤器、列名过滤器、分页过滤器和过滤器列表。通过合理设置缓存和批量大小、使用缓存过滤器、选择合适的过滤器、调整过滤器的顺序等方法，可以进一步提高。通常情况下，应该将复杂的过滤器放在前面，简单的过滤器放在后面，以尽早过滤掉不符合条件的数据。使用扫描过滤器：可以通过设置Scan对象的setFilter方法来使用过滤器，过滤掉不需要的数据。不同的过滤器适用于不同的场景，选择合适的过滤器可以提高扫描的效率。中，可以使用过滤器来过滤掉不需要的数据，从而提高扫描的效率。
Hbase关于过滤器对表的操作
qq_48770086的博客
12-01 2735
Hbase关于过滤器对表的操作
Hbase - 比较器、过滤器、过滤器的操作符
Sha0w的博客
12-09 7978
过滤器的操作符LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >= GREATER > NO_OP no operation比较器BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[]) BinaryPrefixComparator 跟前面相同，只是比较左端的数
HBase最佳实践Scan系列一Scan用法详解
张伟的专栏
07-02 3万+
问题导读：1.HBase中Scan主要有哪几种常见用法？2.scan客户端的设计原理是什么？3.怎样从HBase中扫描大量数据进行分析？HBase中Scan从大的层面来看主要有三种常见用法：ScanAPI、TableScanMR以及SnapshotScanMR。三种用法的原理不尽相同，扫描效率也当然相差甚多，最重要的是这几种用法适用于不同的应用场景，业务需要根据自己的使用场景选择合适的扫描方式。接...
hbase数据库scan操作_hbase数据库操作
weixin_28880469的博客
12-29 1163
2.请编程实现以下功能：(1) createTable(String tableName, String[] fields)创建表，参数 tableName 为表的名称，字符串数组 fields 为存储记录各个字段名称的数组。要求当 HBase 已经存在名为 tableName 的表的时候，先删除原有的表，然后再创建新的表。package cn.wl.edu.hbase;import org.ap...
使用filter（过滤器）按照条件查询hbase
tianqinglei的博客
08-30 3189
1.1. hbase过滤器 1.1.1. FilterList FilterList 代表一个过滤器列表，可以添加多个过滤器进行查询，多个过滤器之间的关系有： 与关系（符合所有）：FilterList.Operator.MUST_PASS_ALL   或关系（符合任一）：FilterList.Operator.MUST_PASS_ONE   使用方法： FilterList 
hbase shell操作之scan+filter
赶路人儿
06-27 8865
创建表 create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value) -- sf: column family of STRING values 导入数据 put 'test1', 'user1|ts1', 'sf:c1', 'sku1' put 'test1', 'user1|ts2', 'sf:c1'
HBase查询优化：Filter详解与应用
"这篇资源主要涉及HBase的查询方法，特别是使用过滤器（filter）进行高效查询。提供了多个不同类型的过滤器，包括比较过滤器、专用过滤器和装饰过滤器的介绍及示例代码，旨在帮助用户理解并应用HBase的查询技术。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值