api学习：hbase的filter

最新推荐文章于 2024-06-17 14:35:38 发布
最新推荐文章于 2024-06-17 14:35:38 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： API学习：大数据及云计算 文章标签： hadoop hbase api
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blue__yeah/article/details/41040399
版权

1、下面是整理了一下去年学习hbase的filter的api时的笔记，放到了一个测试类中，方便观看

2、在此测试类中，假定有一个名字叫tableName的表，列族为all，all列族中有city，column1，column2，column3等字段
3、我的经验是应该每个filter都亲自测试一下，只要碰到某个问题时能确定这个场景能否用filter解决就可以了，然后现用现查即可。
4、但是hbase中最重要的还是行键的设计（因为只有这一级索引）


import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.ColumnCountGetFilter;
import org.apache.hadoop.hbase.filter.ColumnPaginationFilter;
import org.apache.hadoop.hbase.filter.ColumnPrefixFilter;
import org.apache.hadoop.hbase.filter.ColumnRangeFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.DependentColumnFilter;
import org.apache.hadoop.hbase.filter.FamilyFilter;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.FirstKeyOnlyFilter;
import org.apache.hadoop.hbase.filter.FuzzyRowFilter;
import org.apache.hadoop.hbase.filter.InclusiveStopFilter;
import org.apache.hadoop.hbase.filter.KeyOnlyFilter;
import org.apache.hadoop.hbase.filter.MultipleColumnPrefixFilter;
import org.apache.hadoop.hbase.filter.PageFilter;
import org.apache.hadoop.hbase.filter.PrefixFilter;
import org.apache.hadoop.hbase.filter.QualifierFilter;
import org.apache.hadoop.hbase.filter.RandomRowFilter;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueExcludeFilter;
import org.apache.hadoop.hbase.filter.TimestampsFilter;
import org.apache.hadoop.hbase.filter.ValueFilter;
import org.apache.hadoop.hbase.filter.WhileMatchFilter;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.util.Pair;

public class FilterTest {

/**
* 1，FilterList取数据时各_act列搜索时的“或”操作
      FilterList fl = new FilterList(FilterList.Operator.MUST_PASS_ALL);
      FilterList fl2 = new FilterList(Operator.MUST_PASS_ONE);
      fl2中添加filter互相为“或”的关系，
      fl.addFilter(fl2);即可实现需求
*/
/**
* 2,ColumnPrefixFilter
a,返回有此前缀的所有列，
        b,只有FilterList.Operator.MUST_PASS_ONE时，才能添加多个MultipleColumnPrefixFilter，
                    如果设成ALL，会造成互相冲突，无法取到
* @throws IOException 
*/
public static void filterListAndColumnPrefixFilterTest() throws IOException{


Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "tableName");
Scan scan = new Scan();


//list中filter关系为或
FilterList fl = new FilterList(FilterList.Operator.MUST_PASS_ONE);
fl.addFilter(
new ColumnPrefixFilter(Bytes.toBytes("column"))
) ;
fl.addFilter(
new ColumnPrefixFilter(Bytes.toBytes("ci"))
) ;
scan.setFilter(fl);
//如果增加addColumn，则只返回在此添加过的列值对(这种情况下不会返回city列)
scan.addColumn(Bytes.toBytes("all"), Bytes.toBytes("column1"));
   scan.addColumn(Bytes.toBytes("all"), Bytes.toBytes("column2"));
//scan.addColumn(Bytes.toBytes("all"), Bytes.toBytes("city"));
ResultScanner rs =  table.getScanner(scan);
for(Result r:rs){
if(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("column1"))!=null)
//if(new String(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("_act")).getValue()) == "#chat")
System.out.println(new String(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("column1")).getValue()));
if(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("city"))!=null)
System.out.println(new String(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("city")).getValue(),"utf-8"));
}

}

/**
* 3，MultipleColumnPrefixFilter
        a,返回有此前缀的所有列，
        b,在byte[][]中定义所有需要的列前缀，只要满足其中一条约束就会被返回（ColumnPrefixFilterTest的加强版），
*/
public static void multipleColumnPrefixFilterTest(){
Scan scan = new Scan();
byte[][] prefix = {Bytes.toBytes("_a"),Bytes.toBytes("a")};
scan.setFilter(
new MultipleColumnPrefixFilter(prefix)
);
}

/**
* 4,ColumnCountGetFilter
      a,无法再scan中使用，只能在Get中
      b,若设为0，则无法返回数据，设为几就按服务器中存储位置取回几列
      c,可用size()取到列数，观察效果
* @throws IOException 
*/
public static void columnCountGetFilterTest() throws IOException{

Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "tableName");
//HTable table = new HTable(conf, "csntable");
Get get = new Get(Bytes.toBytes("ABCDEFGH"));

get.setFilter(
new ColumnCountGetFilter(3)
);
get.addFamily(Bytes.toBytes("all"));

Result r = table.get(get);

System.out.println(new String (r.getRow()));
//输出结果size，观察效果
System.out.println(r.size());

}

/**
* 5,ColumnPaginationFilter
      a,limit 表示返回列数
      b,offset 表示返回列的偏移量，如果为0，则全部取出，如果为1，则返回第二列及以后
* @throws IOException 
*/
public static void columnPaginationFilterTest() throws IOException{

Configuration conf = HBaseConfiguration.create();
HTable table = new HTable(conf, "tableName");
Scan scan = new Scan();
scan.setFilter(
new ColumnPaginationFilter(5,2)
);
//用addFamily增加列族后，会只返回指定列族的数据
scan.addFamily(Bytes.toBytes("all"));
ResultScanner rs =  table.getScanner(scan);
for(Result r:rs){
if(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("city"))!=null)
System.out.println(new String(r.getColumnLatest(Bytes.toBytes("all"), Bytes.toBytes("city")).getValue()));

}
}

/**
* 6，ColumnRangeFilter
     new ColumnRangeFilter(
Bytes.toBytes("e"),  //下限
true, //是否包括下限
Bytes.toBytes("d"),  //上限
true)                //是否包括上限
);
*/
public static void columnRangeFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new ColumnRangeFilter(
Bytes.toBytes("a"),
true, 
Bytes.toBytes("b"),
false)
);
}

/**
* ?7, DependentColumnFilter （该过滤器有两个参数：family和Qualifier,尝试找到该列所在的每一行，
并返回该行具有相同时间戳的全部键值对。如果某一行不包含指定的列，则该行的任何键值对都不返回，
该过滤器还可以有一个可选的布尔参数-如果为true,从属的列不返回；
该过滤器还可以有两个可选的参数--一个比较操作符和一个值比较器，用于family和Qualifier
的进一步检查，如果从属的列找到，其值还必须通过值检查，然后就是时间戳必须考虑）
*/
public static void dependentColumnFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new DependentColumnFilter(Bytes.toBytes("all"), Bytes.toBytes("city"),true,CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("深圳"))))
;
}

/**
* 8,FamilyFilter
        a,按family查找，取回所有符合条件的“family”
        b,构造方法第一个参数为compareOp
        c,第二个参数为WritableByteArrayComparable，有BinaryComparator, BinaryPrefixComparator,
         BitComparator, NullComparator, RegexStringComparator, SubstringComparator这些类，
                  最常用的为BinaryComparator
*/
public static void familyFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new FamilyFilter(
CompareOp.LESS_OR_EQUAL, 
new BinaryComparator(Bytes.toBytes("all"))
)

);
}

/**
* 9，FirstKeyOnlyFilter
      如名字所示，结果只返回每行的第一个值对
*/
public static void firstKeyOnlyFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new FirstKeyOnlyFilter()
);
}

/**
* 10，FuzzyRowFilter
        模糊row查询
    pair中第一个参数为模糊查询的string
        第二个参数为byte[]其中装与string位数相同的数值0或1,0表示该位必须与string中值相同，1表示可以不同         
*/
public static void fuzzyRowFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new FuzzyRowFilter( 
Arrays.asList(
new Pair<byte[], byte[]>(
Bytes.toBytes("000000000098764_1378035885"),
new byte[] {0, 0, 0, 0 , 0, 0,0, 0, 0, 0 , 0, 0, 0, 0, 0, 0 , 0, 0,1, 1, 1, 1 , 1, 1}
)
)
)
);
}

/**
* 11,InclusiveStopFilter
    指定stopRow，程序在scan时从头扫描全部返回，直到stopRow停止（stopRow这行也会返回，然后scan停止） 
*/
public static void inclusiveStopFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new InclusiveStopFilter(Bytes.toBytes("CCCCCCCCCCCCCCCC"))
);
}

/**
* ？12，KeyOnlyFilter
   只取key值，size正常，说明value不是没取，而是在取的时候被重写为空（能打印，不是null）
    lenAsVal这个值没大搞明白，如果设为true，false时打印的空串此时将会是“口口”
*/
public static void keyOnlyFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new KeyOnlyFilter(false)
);
}

/**
* 13,PageFilter
    取回XX条数据  
*/
public static void pageFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new PageFilter(10)
);
}

/**
* 14,PrefixFilter
    取回rowkey以指定prefix开头的所有行
*/
public static void prefixFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new PrefixFilter(Bytes.toBytes("bj_"))
);
}

/**
* 15，QualifierFilter
   类似于FamilyFilter，取回所有符合条件的“列”
   构造方法第一个参数   compareOp
   第二个参数为WritableByteArrayComparable
*/
public static void qualifierFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new QualifierFilter(
CompareOp.LESS_OR_EQUAL, 
new BinaryComparator(Bytes.toBytes("city"))
)
);
}

/**
* ???16，RandomRowFilter
    参数<0时一条查不出
  >0时好像返回是所有
  --后续测试 ，后来的测试中，大于1值会返回所有，而想取随机列的话有效区间为0~1，值代表取到的几率
*/
public static void randomRowFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new RandomRowFilter((float)0.0000000001)
);
}

/**
* 17，RowFilter
       构造方法参数设置类似于FamilyFilter，符合条件的row都返回
       但是通过row查询时，如果知道开始结束的row，还是用scan的start和end方法更直接并且经测试速度快一半以上
*/
public static void rowFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new RowFilter(
CompareOp.LESS_OR_EQUAL, 
new BinaryComparator(Bytes.toBytes("AAAAAAAAAAAA"))
)
);

/**
* 更推荐用下面的方法直接指定起止行，因为filter本质上还是会遍历全部数据，而设定起止行后会直接从指定行开始，指定行结束，效率高很多。
*/
// scan.setStartRow(Bytes.toBytes("AAAAAAAAAAAA"));
// scan.setStopRow(Bytes.toBytes( "AAAAAAAAABBB"));
}

/**
* 18，SingleColumnValueFilter和SingleColumnValueExcludeFilter
          用来查找并返回指定条件的列的数据
    a，如果查找时没有该列，两种filter都会把该行所有数据发回
    b，如果查找时有该列，但是不符合条件，则该行所有列都不发回
    c，如果找到该列，并且符合条件，前者只返回该列，后者返回所有列
*/
public static void singleColumnValueFilterAndSingleColumnValueExcludeFilterTest(){
Scan scan = new Scan();
scan.setFilter(
// new SingleColumnValueFilter(Bytes.toBytes("all"), Bytes.toBytes("city"),CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("深圳"))))
new SingleColumnValueExcludeFilter(Bytes.toBytes("all"), Bytes.toBytes("city"),CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("深圳"))))
;
}

/**
* ？？？19，SkipFilter
KeyValueFilter会返回所有满足条件的row及对应的列。
而加上SkipFilter以后。会发现如果某一行的某一列不符合条件，则这一行全部不返回了。
这个类没测过，不很确定用法及意义。
*/

/**
* 20，TimestampsFilter
    a，按时间戳搜索数据库
    b，需设定List<Long> 存放所有需要检索的时间戳，
*/
public static void timestampsFilterTest(){
Scan scan = new Scan();
//ls中存放所有需要查找匹配的时间戳
List<Long> ls = new ArrayList<Long>();
ls.add((long)1378035885);
ls.add((long)1378035000);
ls.add((long)1378035775);
ls.add((long)1378034964);
scan.setFilter(
new TimestampsFilter(ls)
);
}

/**
* 21，ValueFilter
按value全数据库搜索（全部列的value均会被检索）
*/
public static void valueFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new ValueFilter(
CompareOp.EQUAL, 
new BinaryComparator(Bytes.toBytes("shanghai"))
)
);
}

/**
* ???22,WhileMatchFilter
    相当于while执行，直到不match就break了返回了。
*/
public static void whileMatchFilterTest(){
Scan scan = new Scan();
scan.setFilter(
new WhileMatchFilter(
new ValueFilter(
CompareOp.EQUAL,
new BinaryComparator(Bytes.toBytes("shanghai"))
)
)
);
}
}

猫耳山大王
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FuzzyRowFilter官网才是最好的学习地方
Baron_ND的博客
11-21 732
org.apache.hadoop.hbase.filter Class FuzzyRowFilter java.lang.Object org.apache.hadoop.hbase.filter.Filter org.apache.hadoop.hbase.filter.FilterBase org.apache.hadoop.hbase.filter.Fuzz...
Hbase中内置Filter详解
牛奋lch
11-22 1万+
一、建表 1、表名：“ORDER_TABLE” 2、列簇：“user”，“order”，“item” 3、表结构如下：   二、封装服务 服务代码如下： @Override public String get(String tableName, Filter filter) { Scan scan = new Scan(); scan.setFilter(filter);
java使用hbase过滤器
zzds111的博客
12-05 3455
1.什么是过滤器 过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤， 基于 HBase 本身提供的三维有序（行键，列，版本有序），这些过滤器可以高效地完成查询过滤的任务，带有过滤器条件的 RPC 查询请求会把过滤器分发到各个 RegionServer（这是一个服务端过滤器），这样也可以降低网络传输的压力。 2.比较运算符 LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREAT
MongoDB数据库的优势
最新发布
zzz4028的博客
06-17 905
数据恢复功能通过备份文件可以进行数据恢复，确保数据的安全性。随着组织机构进行数字化转型，为了应对日益增长的应用程序和数据需求，许多团队不得不将许多单一用途的数据技术添加到技术堆栈中来解决各种数据处理需求一一事务数据库、缓存、专用搜索引擎、流处理器、时间序列数据的数据库、专用的设备存储数据库等等——从而创建了一系列技术和系统组件，随着交互的指数级增加，需要不断进行设计、测试、监控、维护和安全保护。对 MongoDB 的评价：“在保持以开发者为导向和非关系型数据库特色的同时，不忘初心，坚持创新，探索新的方向。
在Hbase使用过滤器（行键过滤器、列族与列过滤器、值过滤器）
weixin_45890771的博客
12-01 1万+
本文介绍Hbase中的过滤器： 1、行键过滤器 2、列族与列过滤器 3、值过滤器 格式如下： scan'表名',{FILTER=>过滤器(比较运算符,'比较器')"} 一、行键过滤器 RowFilter可以配合比较器和运算符，实现行键字符串的比较和过滤 例如，匹配出行键中大于102的数据，可使用binary比较器；匹配以10开头的行键，可使用substring比较器，注意substring不支持大于或小于运算符。 首先创建本次需要用到的表，booksystem:bookinf
Hbase shell 过滤器（2）（实例讲解）
qq_51644702的博客
12-01 1264
Hbase shell 过滤器（1）（实例讲解）_资深咸鱼~的博客-CSDN博客 接上一篇行键过滤器的实例讲解 ，这篇主要讲解列族和列过滤器 二、列族和列过滤器 （1）列族过滤器 知识点： 1、语法与行键过滤器相似 2、FamilyFilter 是对列族名称进行过滤的 实例： 1、过滤出列族为info2的列数据 scan 'booksystem:bookinfo',FILTER=>"FamilyFilter(=,'binary:info2')" 2、过滤出列族名包.
hbase-page:hbase 分页
07-10
在HBase这个分布式列式数据库中，分页查询是一个重要的功能，尤其对于处理大量数据时，它能够有效地提高性能并优化用户...在实际应用中，结合Java API和合理的配置，可以充分利用HBase的优势，处理大数据量的分页场景。
09：HBase分布式实时数据库.zip
03-08
在实时性方面，HBase支持基于内存的Combiner和Filter机制，数据写入后立即可见，无需等待同步到磁盘，极大地提高了读写性能。此外，HBase提供了多种数据访问接口，如Java API、Thrift Gateway和RESTful接口，方便...
Hadoop学习四十二：HBase 过滤器
08-06
在实际应用中，我们通常需要结合HBase的Shell命令或者Java API来使用过滤器。例如，通过Java代码创建一个扫描器，并设置所需的过滤器。 ```java Scan scan = new Scan(); scan.setFilter(new ...
HBase-Research:HBase数据库源代码学习研究（包括代码注释，文档，用于代码分析的测试用例）
03-23
文档部分可能包括HBase的设计文档、API参考、开发指南等，这些资料能帮助开发者快速上手，了解如何使用和扩展HBase。 总的来说，"**HBase-Research**"是一个宝贵的资源，它涵盖了从基础概念到高级特性的全面学习...
hbase资料api
11-04
HBase数据查询API HBase是一种分布式的、面向列的NoSQL数据库，主要应用于存储大量的半结构化数据。HBase提供了多种查询方式，包括单条查询和批量查询。 单条查询 单条查询是通过rowkey在table中查询某一行的数据...
Hbase笔记 —— 过滤器
一纸春秋的博客
12-03 1249
Hbase 过滤器，介绍了多种比较运算符，多种比较器之间的含义与区别。并且对几种常用的过滤器给出了实例代码，与代码分析
Hbase的Filter详解使用
搬砖的鱼的博客
09-15 1023
参数基础 有两个参数类在各类Filter中经常出现，统一介绍下： （1）比较运算符 CompareFilter.CompareOp 比较运算符用于定义比较关系，可以有以下几类值供选择： EQUAL                                  相等GREATER       .
HBase入门：查询中常用的Filter总结
u011236069的博客
11-16 4054
简介： 根据技术调研的过程可以明显的体会到hbase的存储方式和数据库的存储有着明显的区别，查询的方式也有着很大不同，HBase主要是通过这种filter来对数据进行筛选。同时对于数据的体量较大（10亿级别以上的数据数据量），检索和修改的场景较多时是比较适合使用hbase。 HBase过滤器可以根据分为：列簇与列类型过滤器，行键过滤器，其他过滤器 HBase Filter 概览 查询hbase支持的filter 列表 hbase(main):015:0> show...
HBase：Filter Query
编程学习者的博客
06-18 304
1.声明 当前内容主要用于本人学习和复习，当前的内容主要为官方文档中的Filter Query 当前内容中的工具类基于前面的博文 准备数据表test-filter,并开始写入数据 2.FilterList查询 /** * @description 当前内容主要用于测试FilterList的查询操作 * @author hy * @date 2020-06-18 */ public class FilterListTest { private static String tableName =
HBase shell scan 模糊查询
热门推荐
power0405hf的专栏
11-13 8万+
0.进入hbase shell ./hbase shell help help “get” #查看单独的某个命令的帮助 1. 一般命令 status 查看状态 version 查看版本 2.DDL（数据定义语言Data Definition Language）命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’ 如：create 'member','
HBase学习笔记——基于HBase的日志系统的性能优化
weixin_33910759的博客
09-21 152
我之前参与过一个日志系统的开发，存储用HBase。我简单罗列下用到的HBase优化，备忘。以后把它整理成更友好的介绍性文章。 系统简介 有一张大的日志数据表，保存所有日志。row key是 hash + app id + log-severity + timestamp + host等，cell保存日志正文数据。 可以看到row key的hash保证...
HBase概览
小黑
07-20 2905
近期准备系统的学习一下HBase的知识，包括构架和原理等方面，以便为后续的开发工作做准备，做到知其然而之所以然的状态，而不再是瞎子摸象般的搞开发 本篇作为开篇，只是对HBase做一个大体的介绍，各个小节没有很大的关联性，很多只是将系统中一些繁杂又有用的东西记录下来，以备日后查阅学习路线整理了一下手头上HBase的相关资料，发现特别零散，没有一个系统性的指导，所以特别想入一本《HBase权威指南》
[HBase基础]--40种HBase Filter的使用说明
欢迎来到我的博客，一起探索代码里的世界！
05-11 996
版本：HBase-1.2.x参考：http://hbase.apache.org/1.2/devapidocs/org/apache/hadoop/hbase/filter/package-use.html#org.apache.hadoop.hbase.filterhttp://hbase.apache.org/1.2/devapidocs/index.html说明：Classes in org...
hbase常用API接口
06-05
8. Filter：用于过滤HBase数据表中的数据的操作接口。 9. RowFilter：用于按行键过滤HBase数据表中的数据的操作接口。 10. ColumnFilter：用于按列族或列名过滤HBase数据表中的数据的操作接口。 11. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值