大数据开发利器：Hadoop（9） HBase进阶第2讲 HBase过滤器

最新推荐文章于 2021-12-29 12:08:05 发布
最新推荐文章于 2021-12-29 12:08:05 发布
阅读量630 收藏
点赞数
分类专栏： 大数据学习 文章标签： 大数据 hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dr_Lecter/article/details/53054551
版权

本节介绍几种HBase的过滤器：RowFilter（行过滤器）、QulifierFliter（列名过滤器）和FilterList。

1. 准备工作

1.1 创建表

① 表结构介绍

还是以学生成绩表为例，表名为studentScore，行键名为name，列族名为score。行限定符有English,Math, Computer 。
表的逻辑视图如下：

namescore
EnglishMathComputer
Zhangsan808595
Lisi657488
②使用Hbase shell创建表
creart 'studentScore', 'score'

1.2 开启服务

启动Hadoop、Zookeeper和HBase。

start-dfs.sh
start-yarn.sh
zkServer.sh start
start-hbase.sh

1.3 创建项目

创建项目名为hbase_study2，包名为edu.hbase.study2。同时将hbase/conf下的log4j.properties复制到项目下的src/目录下。

2. 代码讲解

2.1 创建和关闭连接

① 创建连接

Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "localhost");
conf.set("hbase.zoookeeper.property.clientPort", "2181");
Connection conn = ConnectionFactory.createConnection(conf);
Table table = conn.getTable(TableName.valueOf("studentScore"));

② 关闭连接

if (table != null)
    talbe.close();
if(conn != null) 
    conn.close();

2.2 RowFilter(行过滤器)

2.2.1 RowFilter()方法参数讲解

① RowFilter()方法(其他过滤器也是一样)有两个参数。

第一个参数为比较运算符。有以下几种类型：

操作描述
LESS匹配小于设定值的值
LESS_OR_EQUAL匹配小于或等于设定值的值
EQUAL匹配等于设定值的值
NOT_EQUAL匹配不相等设定值的值
GREATER_OR_EQUAL匹配大于或等于设定值的值
GREATER匹配大于设定值的值
NOT_OP排除一切值

第二个参数为比较器，有以下几种类型。

比较器描述
BinaryComparator使用Bytes.compareTo()比较当前值与阈值
BinaryPrefixComparator前缀匹配
NullComparator判断当前值是否为null
BitComparator按位与(AND)，或（OR），异或(XOR)执行位级比较
RegexStringComparator正则表达式比较
SubstringComparator把阈值和表中的数据当作String实例，同时通过contains()操作字符串
② Get和Scan两个类都支持过滤器，本节以Scan讲解

2.2.2 过滤器代码

Scan scan = new Scan();
// 产生的数据不放入CacheBlock中，防止读取错误
scan.setCacheBlocks(false);
// 匹配是否相等 语句1
Filter filter = new RowFilter(CompareFilter.CompareOP.EQUAL, new BinaryComparator(Bytes("Zhangsan")));
// 匹配前缀是否相等 语句2
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("Zhang")));
// 匹配是否含有相应的字符串 语句3
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("si"));
scan.setFilter(filter);

2.2.3 格式化输出代码

当然，需要格式话输出，代码如下：

// 格式话输出
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
    List<Cell> cells = result.listCells();
    for (Cell cell : cells) {
        String rowkey = new String(CellUtil.cloneRow(cell));
        String colFamily = new String(CellUtil.cloneFamily(cell));
        String column = new String(CellUtil.cloneQualifier(cell));
        String value = new String(CellUtil.cloneValue(cell));
        System.out.println("rowkey: " + rowkey + "  " + "colFamily: " + colFamily + "  " + "cloumn: "+ column + "  " + "value: " + value);
    }
}
scanner.close();

2.2.4 构造数据和输出展示

2.2.4.1 执行语句1

 //匹配相等
Filter filter = new RowFilter(CompareFilter.CompareOP.EQUAL, new BinaryComparator(Bytes("Zhangsan")));

① 首先创建两行测试数据

put 'studentScore', 'Zhangsan', 'score:English', '80'
put 'studentScore', 'Lisi', 'score:English', '65'

② 执行语句1并注释语句2和语句3
在Eclipse中运行项目。
结果如下图所示：

rowFilter 1

可以发现，只显示了Zhangsan行的数据。

2.2.4.2 执行语句2
// 匹配前缀
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("Zhang")));

① 构造测试数据

put 'studentScore', 'Zhangzhao', 'score:English', '90'

现在表中有Zhangsan,Zhangzhao,Lisi，三行数据。
② 执行语句2，同时注释语句1和语句3

结果如下图所示：

rowFitler 2

可以发现，显示了两行数据。

2.2.4.3 执行语句3
// 匹配包含字符串
Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("si"));

① 构造测试数据

put 'studentScore', 'Lisiguang', 'socre:English', '70'

现在有两行包含si字符串。
② 执行语句3，同时注释语句1和语句2
结果如下图所示：

rowFitler 3

可以发现，显示了两行数据，符合预期。

2.3 QualifierFilter(列限定符过滤器)

2.3.1 代码讲解

和行键过滤器类似的方法，只是方法名不同。

// 匹配是否相等
Scan scan = new Scan();
scan.setCacheBlocks(false);
Filter filter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("English")));
scan.setFilter(filter);

2.3.2 运行代码

① 构造数据

put 'studentScore', 'Zhangsan', 'score:Math', '85'

② 运行代码
运行代码结果如下图：

qualifierFilter

2.4 FilterList自定义过滤器

2.4.1 代码讲解

这里使用SingleColumnValueFilter（单列）过滤器。即用一列的值决定是否一行数据是否被过滤。
所以有三个参数：（从左到右）

  • 列族名
  • 行限定符
  • 比较运算符
  • 需要比较的参数
    前面两个参数确定单元格，最后两个参数确定比较的方式和比较的值。
Scan scan = new Scan();
scan.setCacheBlocks(false);

// English为8开头的
SingleColumnValueFilter filter1 = new SingleColumnValueFilter(Bytes.toBytes("score"), Bytes.toBytes("English"), CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("8")));
// 作用是：对于要使用作为条件的列，如果这一列本身就不存在，那么如果为true，这样的行将会被过滤掉，如果为false，这样的行会包含在结果集中
filte1.setFilterIfMissing(true);
// math为80或90
SingleColumnValueFilter filter2 = new SingColumnValueFilter(
        Bytes.toBytes("score"),
        Bytes.toBytes("Math"),
        CompareOp.EQUAL,
        new RegexStringComparator("80|90"));
)
filter2.setFilterIfMissing(true);
List<Filter> filters = new ArrayList<Filter>();
filters.add(filter1);
filters.add(filter2);

// 这里有两个参数：MUST_PASS_ONE和MUST_PASS_ALL
// MUST_PASS_ALL  类似 与运算（&&） 默认是这个
// MuST_PASS_ALL  类似 或运算（||） 

// 语句1
FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ONE, filters);
// 语句2
FilterList filterlist = new FilterList(filters);

scan.setFilter(filterlist);

2.4.2 构造数据

为了让结果更好的显示，我们将之前的数据删去，重新构造数据

disable 'studentScore'
drop 'studentScore'
create 'studentScore', 'score'
// 满足两个条件的
put 'studentScore', 'Zhangsan', 'score:English', '85'
put 'studentScore', 'Zhangsan', 'score:Math', '90'
// 仅仅满足一个条件的
put 'studentScore', 'Lisi', 'Score:English', '90'
put 'studentScore', 'lisi', 'Score:Math', '80'
// 两个条件都不满足的
put 'studentScore', 'Wangwu', 'Score:English', '90'
put 'studentScore', 'Wangwu', 'Scrore:Math', '85'

2.4.3 运行代码

① 运行语句1，注释语句2
FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ONE, filters);

类似或运算（||），所以预期结果应显示Zhangsan和Lisi两行数据。
结果如下图：

自定义Filter 1

② 运行语句2，注释语句1
FilterList filterlist = new FilterList(filters);

类似 与运算(&&)，所以预期结果只有Zhangsan这一行。
结果如下图：

自定义Filter 2

2.5 完整代码

package edu.hbase.study3;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.QualifierFilter;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.util.Bytes;

public class EduFilter {
    public static Configuration conf;
    public static Connection conn;
    public static Table table;

    public static void init() throws IOException {
        conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum", "localhost");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conn = ConnectionFactory.createConnection(conf);
        table = conn.getTable(TableName.valueOf("studentScore"));
    }

    public static void close() throws IOException {
        if (table != null) {
            table.close();
        }

        if (conn != null) {
            conn.close();
        }

    }

    public static void rowFilter() throws IOException {
        init();
        Scan scan = new Scan();
        // 产生的数据不放入CacheBlock中，防止读取出错
        scan.setCacheBlocks(false);
        // 匹配全部是否相等
//      Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("Zhangsan")));
        // 匹配前缀是否相等
//      Filter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryPrefixComparator(Bytes.toBytes("Zhang")));
        // 匹配是否含有相应的字符串
        Filter filter = new RowFilter(CompareOp.EQUAL, new SubstringComparator("si"));

        scan.setFilter(filter);
        resultOut(scan);
        close();
    }
    public static void columnFilter() throws IOException {
        init();
        Scan scan = new Scan();
        scan.setCacheBlocks(false);
        Filter filter = new QualifierFilter(CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("English")));
        scan.setFilter(filter);
        resultOut(scan);
        close();
    }
    public static void resultOut(Scan scan) throws IOException {
        ResultScanner scanner = table.getScanner(scan);
        for (Result result : scanner) {
            List<Cell> cells = result.listCells();
            for (Cell cell : cells) {
                String rowkey = new String(CellUtil.cloneRow(cell));
                String colFamily = new String(CellUtil.cloneFamily(cell));
                String column = new String(CellUtil.cloneQualifier(cell));
                String value = new String(CellUtil.cloneValue(cell));
                System.out.println("rowkey: " + rowkey + "  " + "colFamily: "
                        + colFamily + "  " + "cloumn: "+ column + "  " + "value: " + value);
            }
        }
        scanner.close();
    }
    public static void filterList() throws IOException {
        init();
        Scan scan = new Scan();
        scan.setCacheBlocks(false);

        SingleColumnValueFilter filter1 = new SingleColumnValueFilter(
                Bytes.toBytes("score"),
                Bytes.toBytes("English"),
                CompareOp.EQUAL,
                new BinaryPrefixComparator(Bytes.toBytes("8")));
        filter1.setFilterIfMissing(true);

        SingleColumnValueFilter filter2 = new SingleColumnValueFilter(
                Bytes.toBytes("score"),
                Bytes.toBytes("Math"),
                CompareOp.EQUAL,
                new RegexStringComparator("80|90"));
        filter2.setFilterIfMissing(true);

        List<Filter> filters = new ArrayList<Filter>();
        filters.add(filter1);
        filters.add(filter2);

        // MUST_PASS_ALL  && 的用法 （默认）
                // MUST_PASS_ONE  || 的用法

        FilterList filterlist = new FilterList(FilterList.Operator.MUST_PASS_ONE, filters);

//      FilterList filterlist = new FilterList(filters);
        scan.setFilter(filterlist);
        resultOut(scan);

        close();
    }

    public static void main(String[] args) throws IOException {
//      rowFilter();
//      columnFilter();
        filterList();
    }
}

3. 总结

本节主要介绍了三种常用的过滤器：行过滤器、列限定符过滤器以及自定义过滤器。
其中自定义过滤器中，我设置了两个过滤器，通过FilgerList实现了两个过滤器的与（&）和或（|）。

参考内容

dxer - Hbase过滤器总结
王滨 - 网易微专业 大数据工程师

知庸vv
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop生态圈-Hbase过滤器（Filter）
weixin_34353714的博客
06-08 147
　　　　　　　　　　　　　　　　　　　Hadoop生态圈-Hbase过滤器（Filter） 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。...
Hadoop学习四十二：HBase 过滤器
zy19982004的专栏
07-04 308
一.概述 客户端创建包含过滤器Filter的Scan。 Scan通过RPC被发送给RegionServer，在服务器端执行过滤操作。 Scan的作用域是region，所以一个RegionServer有多个region的话，Scan将被发送到每个region。   二.Filter工作流程        你必须知道的是，HBase里的一行数据对应一或者多个KeyValue。再...
小白学hadoop日记——布隆过滤器
qq_42515611的博客
07-17 403
布隆过滤器应用场景 做缓存：经常被访问的东西存储到内存型key-value数据结构--->在真正缓存之前可以加一个bloomfilter 布隆过滤器原理 它的时间复杂度是O(1)，但是空间占用取决其优化的方式。它是布隆过滤器的基础。 布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组（或者叫位向量）和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k。 以上图为例，具体的插入数据和校验是否存在的流程： 假设集合里面有3个元素{x, y, z}，哈希函数的...
Hadoop期末复习贴-Hbase过滤器
梏十一郎的博客
12-29 632
若本文对你有帮助，请记得点赞、关注我喔！
小白学hadoop日记16——hbase的java api 2——过滤器、比较器
qq_42515611的博客
07-17 518
过滤器：值过滤、单值过滤器、过滤器链、行过滤器、列过滤器等。 比较器：二进制、字符串前缀比较、正则比较器等 能不用过滤器尽量不用过滤器，因为性能肯定没有直接使用get快。 LESS, LESS_OR_EQUAL, EQUAL, NOT_EQUAL, GREATER_OR_EQUAL, GREATER, NO_OP 代码实现 import com.al.util.HbaseUtil; import org.apache.hadoop.hbase....
大数据云计算技术系列 Hadoop之Hbase从入门到精通（共243页）.pdf
09-04
《大数据云计算技术系列：Hadoop之Hbase从入门到精通》 HBase，全称Hadoop Database，是一款基于Hadoop生态系统的分布式列式存储系统，旨在处理海量结构化数据。它借鉴了Google Bigtable的设计思想，但开源并适应了...
大数据全套安装包：包括hadoop-3.1.1、hbase-2.2.3、hive-3.1.2、zookeeper-3.5.6
最新发布
10-07
这个压缩包提供了一整套的大数据处理环境，包括Hadoop 3.1.1、HBase 2.2.3、Hive 3.1.2和ZooKeeper 3.5.6，这些都是大数据生态系统中的核心组件。 首先，Hadoop是Apache软件基金会开发的一个开源框架，主要用来处理...
大数据云计算技术系列 Hadoop之Hbase简介（共19页）.pdf
09-04
2. Zookeeper：Hbase依赖Zookeeper进行协调和管理，包括Master选举、Region Server状态监控和Region定位等关键任务。 3. Master：Hbase Master负责Region的分配和负载均衡，元数据的管理，以及Region Server的监控...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）全套PPT课件含习题 共7个章节.rar
01-16
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题 第2章 Hadoop基础（32页）.pptx 清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题 第3章 Hadoop数据库HBase（59页...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（59页） 第3章 Hadoop数据库HBase.pptx
05-23
【大数据实践——HBase深入解析】 HBase，作为Hadoop生态系统中的分布式列式数据库，是为处理大规模数据而设计的。本章节将深入探讨HBase的体系架构、数据模型以及其实现方式，帮助读者理解其核心概念和应用场景。 ...
hbase for hadoop2.X 使用 protocolbuffer 自定义filter
专注大数据技术以及行业解决方案
11-20 1880
一.所需技能 1.搭建环境请参考http://blog.csdn.net/hadoop_83425744/article/details/49254741里面环境搭建 2.必须掌握protocol buffer 3.了解hbase的流程 二.环境搭建 1.推荐环境搭建使用linux,通过hadoop在windows的二次开发的教训决定直接使用linux环境开
[Hadoop]输入路径过滤，通配符与PathFilter
热门推荐
SmartSi
12-21 1万+
1. 丢失文件路径过滤应用场景：我们想查询一个月以来度假的订单数据，但是HDFS中可能因为业务故障，导致某一天的订单数据不存在：FileInputFormat.setInputPaths(job, inputPath);上述代码在遇到路径不存在的时候会报错。所以在设置路径之前需要进行一次判断，判断这个路径在HDFS上是否存在，如果存在，使用addInputPath方法添加：FileSystem f
hadoop 之 PathFilter -- 输入文件过滤器
Andrew的成长之路
11-04 1446
1.指定多个输入在单个操作中处理一批文件，这是很常见的需求。比如说处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符在匹配多个文件时比较方便的，无需列举每个文件和目录来指定输入。hadoop为执行通配提供了两个FileSystem方法：public FileStatus[] globStatus(Path pathPattern) throw I
Hadoop中的Bloom Filter布隆过滤器介绍
whaoXYSH的专栏
01-19 4762
布隆过滤器 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制矢量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。 基本概念 如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链
Hadoop Bloom Filter 使用
开心一刻的专栏
11-29 2598
1.Bloom Filter  默认的     BloomFilter filter =new BloomFilter(10,2,1); // 过滤器长度为10 ，用2哈希函数，MURMUR_HASH (1)     Key  key  =new Key("hadoop".getBytes());     filter.add(key);     Key hb  = new Key("
hbase数据库scan操作_HBase Scan 使用
weixin_39675289的博客
02-15 2349
1. Scan类常用方法说明// 1. 指定需要的family或column，如果没有调用任何addFamily或Column，会返回所有的columnsscan.addFamily()scan.addColumn()// 2. 指定最大的版本个数。如果不带任何参数调用setMaxVersions，表示取所有的版本。如果不掉用setMaxVersions，只会取到最新的版本scan.setMaxV...
hbase scan过滤器命令语法出错_HBase Filter 过滤器之RowFilter详解
weixin_31519139的博客
11-29 338
前言：本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤，在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文：HBase Filter 过滤器之比较器 Comparator 原理及源码学习。一。Java 代码示例 头部代码...
Hbase 行键设计（rowkey） 实现多条件查询
Happy_wu的专栏
06-30 3452
转自：http://blog.csdn.net/alphags/article/details/53786777 摘要 本文主要内容是通过合理Hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中，查询时通过rowkey进行查询，提高rowkey的利用率，加快查询速度。行键（rowkey)并不是简单
hbase filter 自定义Comparator
mtj66的博客，交流WX:SpringBreeze1104
09-18 6741
在此先道歉，先前值做了标题，没来得及贴干货在博客，对不住那些提前进来的人，发现访问量较多立马更新博客，在此奉上。这个自定义的Comparator也是看了好多资料，此处是基于cdh-hbase1.2.0 分享自定义hbase filter全过程(此处的Comparator是针对SingleColumnFilter进行测试的,其他的过滤器并没具体测试)。1.制作 CustomComparatorProt
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值