【HBase】（十）过滤器

最新推荐文章于 2022-03-09 22:05:40 发布
最新推荐文章于 2022-03-09 22:05:40 发布
阅读量1.4k 收藏 4
点赞数
分类专栏： # ---- HBase 文章标签： 过滤器 hbase hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BeiisBei/article/details/103738197
版权

文章目录

一、过滤器（Filter）

基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到各个RegionServer，是一个服务器端（Server-side）的过滤器，这样也可以降低网络传输的压力。

要完成一个过滤的操作，至少需要两个参数。一个是抽象的操作符，Hbase提供了枚举类型的变量来表示这些抽象的操作符：LESS/LESS_OR_EQUAL/EQUAL/NOT_EUQAL等；另外一个就是具体的比较器（Comparator），代表具体的比较逻辑，如果可以提高字节级的比较、字符串级的比较等。有了这两个参数，我们就可以清晰的定义筛选的条件，过滤数据。

抽象操作符（比较运算符）

  • LESS <

  • LESS_OR_EQUAL <=

  • EQUAL =

  • NOT_EQUAL <>

  • GREATER_OR_EQUAL >=

  • GREATER >

  • NO_OP 排除所有

比较器（指定比较机制）

  • BinaryComparator 按字节索引顺序比较指定字节数组，采用 Bytes.compareTo(byte[])

  • BinaryPrefixComparator 跟前面相同，只是比较左端的数据是否相同

  • NullComparator 判断给定的是否为空

  • BitComparator 按位比较

  • RegexStringComparator 提供一个正则的比较器，仅支持 EQUAL 和非 EQUAL

  • SubstringComparator 判断提供的子串是否出现在 value 中

二、HBase过滤器的分类

比较过滤器

1、行键过滤器 RowFilter

Filter rowFilter = new RowFilter(CompareOp.GREATER, new BinaryComparator("95007".getBytes()));
scan.setFilter(rowFilter);

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        Filter rowFilter = new RowFilter(CompareOp.GREATER, new BinaryComparator("95007".getBytes()));
        scan.setFilter(rowFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(cell);
            }
        }
        
        
    }

运行结果部分截图
在这里插入图片描述

2、列簇过滤器 FamilyFilter

Filter familyFilter = new FamilyFilter(CompareOp.EQUAL, new BinaryComparator("info".getBytes()));
scan.setFilter(familyFilter);

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();

        Filter familyFilter = new FamilyFilter(CompareOp.EQUAL, new BinaryComparator("info".getBytes()));
        scan.setFilter(familyFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(cell);
            }
        }
        
        
    }
    
    
}

在这里插入图片描述

3、列过滤器 QualifierFilter

Filter qualifierFilter = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator("name".getBytes()));
scan.setFilter(qualifierFilter);

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        Filter qualifierFilter = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator("name".getBytes()));
        scan.setFilter(qualifierFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(cell);
            }
        }             
    }   
}

在这里插入图片描述

4、值过滤器 ValueFilter

Filter valueFilter = new ValueFilter(CompareOp.EQUAL, new SubstringComparator("男"));
scan.setFilter(valueFilter);

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        Filter valueFilter = new ValueFilter(CompareOp.EQUAL, new SubstringComparator("男"));
        scan.setFilter(valueFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(cell);
            }
        }
        
        
    }
    
    
}

在这里插入图片描述

5、时间戳过滤器 TimestampsFilter

List<Long> list = new ArrayList<>();
list.add(1522469029503l);
TimestampsFilter timestampsFilter = new TimestampsFilter(list);
scan.setFilter(timestampsFilter);

public class HbaseFilterTest {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        List<Long> list = new ArrayList<>();
        list.add(1522469029503l);
        TimestampsFilter timestampsFilter = new TimestampsFilter(list);
        scan.setFilter(timestampsFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())
                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());
            }
        }
        
        
    }
    
    
}

在这里插入图片描述

专用过滤器

1、单列值过滤器 SingleColumnValueFilter ----会返回满足条件的整行

SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter(
                "info".getBytes(), //列簇
                "name".getBytes(), //列
                CompareOp.EQUAL, 
                new SubstringComparator("刘晨"));
//如果不设置为 true，则那些不包含指定 column 的行也会返回
singleColumnValueFilter.setFilterIfMissing(true);
scan.setFilter(singleColumnValueFilter);

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter(
                "info".getBytes(), 
                "name".getBytes(), 
                CompareOp.EQUAL, 
                new SubstringComparator("刘晨"));
        singleColumnValueFilter.setFilterIfMissing(true);
        
        scan.setFilter(singleColumnValueFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())
                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());
            }
        }        
    }    
}

在这里插入图片描述

2、单列值排除器 SingleColumnValueExcludeFilter

SingleColumnValueExcludeFilter singleColumnValueExcludeFilter = new SingleColumnValueExcludeFilter(
                "info".getBytes(), 
                "name".getBytes(), 
                CompareOp.EQUAL, 
                new SubstringComparator("刘晨"));
singleColumnValueExcludeFilter.setFilterIfMissing(true);
        
scan.setFilter(singleColumnValueExcludeFilter);

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        SingleColumnValueExcludeFilter singleColumnValueExcludeFilter = new SingleColumnValueExcludeFilter(
                "info".getBytes(), 
                "name".getBytes(), 
                CompareOp.EQUAL, 
                new SubstringComparator("刘晨"));
        singleColumnValueExcludeFilter.setFilterIfMissing(true);
        
        scan.setFilter(singleColumnValueExcludeFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())
                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());
            }
        }    
    } 
}

在这里插入图片描述

3、前缀过滤器 PrefixFilter----针对行键

PrefixFilter prefixFilter = new PrefixFilter("9501".getBytes());
        
scan.setFilter(prefixFilter);

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        PrefixFilter prefixFilter = new PrefixFilter("9501".getBytes());
        
        scan.setFilter(prefixFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())
                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());
            }
        }   
    }  
}

在这里插入图片描述

4、列前缀过滤器 ColumnPrefixFilter

ColumnPrefixFilter columnPrefixFilter = new ColumnPrefixFilter("name".getBytes());
        
scan.setFilter(columnPrefixFilter);

public class HbaseFilterTest2 {

    private static final String ZK_CONNECT_KEY = "hbase.zookeeper.quorum";
    private static final String ZK_CONNECT_VALUE = "hadoop1:2181,hadoop2:2181,hadoop3:2181";

    private static Connection conn = null;
    private static Admin admin = null;
    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = HBaseConfiguration.create();
        conf.set(ZK_CONNECT_KEY, ZK_CONNECT_VALUE);
        conn = ConnectionFactory.createConnection(conf);
        admin = conn.getAdmin();
        Table table = conn.getTable(TableName.valueOf("student"));
        
        Scan scan = new Scan();
        
        ColumnPrefixFilter columnPrefixFilter = new ColumnPrefixFilter("name".getBytes());
        
        scan.setFilter(columnPrefixFilter);
        ResultScanner resultScanner = table.getScanner(scan);
        for(Result result : resultScanner) {
            List<Cell> cells = result.listCells();
            for(Cell cell : cells) {
                System.out.println(Bytes.toString(cell.getRow()) + "\t" + Bytes.toString(cell.getFamily()) + "\t" + Bytes.toString(cell.getQualifier())
                + "\t" + Bytes.toString(cell.getValue()) + "\t" + cell.getTimestamp());
            }
        }
    }
}

在这里插入图片描述

5、分页过滤器 PageFilter

云 祁
关注
专栏目录
HBase学习之路(五)：理解过滤器的概念及比较过滤器的使用
萧邦主的城邦
07-31 1745
内容简介一、过滤器简介1.过滤器的基本概念2.过滤器的层次结构3.比较运算符4.运算器二、比较过滤器的使用0.比较过滤器的基本概念1.行过滤器2.列族过滤器3.列名过滤器4.值过滤器三、总结 一、过滤器简介 1.过滤器的基本概念 过滤器是HBase为客户端提供的一种高级API，是HBase的一种高级特性，它提供了非常强大的功能帮助用户处理表中的数据。HBase中读取数据的API主要是get()和...
Hbase过滤器
m0_51691291的博客
12-02 2118
Hbase过滤器1、比较过滤器1.1、比较运算符1.2、比较器1.3、常见比较过滤器1.3.1、RowFilter 过滤器示例1.3.2、FamilyFilter示例1.3.3、QualifierFilter 示例1.3.4、ValueFilter示例2、专用过滤器2.1、单列值过滤器2.2、列值排除过滤器2.3、rowkey前缀过滤器2.4、分页过滤器3、多过滤器综合查询 过滤器的作用： 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端 过滤器的类型很多，但是可以分为两大类
HBase 比较过滤器
我是小坏
08-31 579
一、行过滤器(RowFilter) /** * 测试RowFilter过滤器 */ @Test public void testRowFilter() throws IOException { Configuration conf = HBaseConfiguration.create(); Connection c...
HBASE 比较器和过滤器
80后大叔爱学习
09-12 2640
比较器： BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[]) BinaryPrefixComparator 跟前面相同，只是比较左端的数据是否相同 NullComparator 判断给定的是否为空 BitComparator 按位比较a BitwiseOp class 做异或，与，并操作 RegexStringComparat......
Hbase中的过滤器
litlit023的专栏
03-09 307
hbase中过滤器的介绍以及使用方法，参考资料 HBase Filter 过滤器之 Comparator 原理及源码学习 - 周蓬勃 - 博客园前言： 上篇文章 "HBase Filter 过滤器概述" 对HBase过滤器的组成及其家谱进行简单介绍，本篇文章主要对HBase过滤器之比较器作一个补充介绍，也算是HBase Fhttps://www.cnblogs.com/zpb2016/p/12775374.html ...
Hadoop学习四十二：HBase 过滤器
08-06
HBase过滤器允许我们在读取数据时对结果进行筛选，减少不必要的I/O操作，从而提高效率。它们是通过实现`Filter`接口来定义的，并在扫描器（Scanner）执行时应用。HBase提供了多种内置过滤器，如...
HBase过滤器查询
weixin_43230682的博客
08-22 1556
目录 1、过滤器 2、比较过滤器使用 3、专用过滤器使用 4、多过滤器综合查询FilterList 1、过滤器 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端 过滤器的类型很多，但是可以分为两大类 比较过滤器 专用过滤器 2、比较过滤器使用 HBase过滤器的比较运算符： LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >=
Hbase布隆过滤器详解
03-02
布隆过滤器是一种高效的空间节约型数据结构，用于判断一个元素是否可能存在于一个大型集合中。它由布隆于1970年提出，主要利用了位数组和多个哈希函数来实现。基本思想是通过将元素经过多个独立的哈希函数映射到一个...
HBase 过滤器 Java API
hujieliang123的博客
03-02 2615
HBase 过滤器 Java API
HBase过滤器
MingYueZh的博客
06-29 414
过滤器就是对数据库获取的数据进行过滤，将符合条件的数据返回客户端，从而减少从region服务器向客户端发送的数据，从而减少数据传输，提高效率。所有的过滤器都要实现Filter接口。HBase同时还提供了FilterBase抽象类，它提供了Filter接口的默认实现。而在HBase提供的过滤器中，也主要分为几种过滤器：比较过滤器、专用过滤器和扩展过滤器。过滤器的组成：主要有过滤器本身、比较器和比较运...
happybase查询hbase
03-10
博客配套文件，详细演示了python通过happybase查询hbase的代码使用。
HBase中的过滤器
12-23 918
熟悉mysql,oracl,sqlserver的朋友,对过滤器肯定不会陌生,可以对内容进行正则表达式的匹配等.而Hbase中的过滤器是于数据读取类get和scan来结合适用,用于更细粒度的获取数据  一.Hbase中的过滤器的类继承层次结构     在过滤器最底层的是Filter接口和FilteBase类,还有一类特殊的过滤器继承自CompareFilter     先来说明下继承自Comp
Hbase Python API Happybase中的Filter
狂奔的蜗牛
10-15 4731
Hbase多种API，我在项目中使用是Happybase。一些常用的操作在Happybase官网都有示例，而我在使用table.scan()方法，传入Filter时，找不到参考，不知道具体的语法。经过一番参考和测试，终于实现了想要的功能。现记录如下，供大家参考。 Hbase Filter有很多种，具体可以参考Hbase官网关于Filter的介绍。 平时最常用，网上例子最多的Filter就是 S...
HBase种的过滤器
qq_36382679的博客
07-13 167
HBase中的过滤器 过滤器的种类很多，但是可以分为两大类(比较过滤器和专用过滤器) 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端。 1 CompareFilter.CompareOp public enum CompareOp { /** less than */ LESS, /** less than or equal to */ LESS_OR_EQUAL, /** equals */ EQUAL, /**
hbase scan超时设置_HBase学习之路 （六）过滤器
weixin_40001967的博客
12-01 229
点击上方蓝字 关注我们HBase学习之路 (六)过滤器 过滤器(Filter) 　　基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序(主键有序、列有序、版本有序)，这些Filter可以高效的完成查询过滤的任务。带有Filte...
hbase的所有过滤器
长不大的老小孩
12-28 783
参考地址：http://hbase.apache.org/book.html#_preface 一：Hbase的所有过滤器用法： １．KeyOnlyFilter filter_str = "KeyOnlyFilter()" connection = happybase.Connection(hbase_address, autoconnect=False) table = connect...
【Hbase学习系列】Hbase常用过滤器使用详解
search-lemon的博客
10-09 2408
文章目录1. 行键过滤器 —— RowFilter1.1 CompareOperator1.2 ByteArrayComparable1.2.1 RegexStringComparator1.2.2 BinaryPrefixComparator1.2.3 SubstringComparator1.2.4 BinaryComparator1.2.5 BigDecimalComparator1.2.6 BitComparator1.2.7 LongComparator1.2.8 NullComparator2.
hbase过滤器查询
hellozhxy的博客
09-13 259
  引言：过滤器的类型很多，但是可以分为两大类 比较过滤器 专用过滤器 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端； hbase过滤器的比较运算符： LESS &lt; LESS_OR_EQUAL &lt;= EQUAL = NOT_EQUAL &lt;&gt; GREATER_OR_EQUAL &gt;= GREATER &gt; NO_OP 排...
hbase shell过滤器
最新发布
03-16
HBase Shell过滤器是一种用于过滤HBase表中数据的工具。它可以根据不同的条件过滤出符合要求的数据，比如按行键、列族、列限定符、时间戳等进行过滤。常见的HBase Shell过滤器包括SingleColumnValueFilter、RowFilter、ColumnPrefixFilter、TimestampsFilter等。使用HBase Shell过滤器可以方便地查询和筛选出需要的数据，提高数据查询效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值