Hbase的filter使用

最新推荐文章于 2020-06-13 13:06:38 发布
最新推荐文章于 2020-06-13 13:06:38 发布
阅读量210 收藏
点赞数
分类专栏： 数据库Hbase
参数基础
有两个参数类在各类Filter中经常出现，统一介绍下：
（1）比较运算符  CompareFilter.CompareOp
比较运算符用于定义比较关系， 可以有以下几类值供选择：
  1. EQUAL                                  相等
  2. GREATER                              大于
  3. GREATER_OR_EQUAL           大于等于
  4. LESS                                      小于
  5. LESS_OR_EQUAL                  小于等于
  6. NOT_EQUAL                        不等于

（2）比较器   ByteArrayComparable
通过比较器可以实现多样化目标匹配效果，比较器 有以下子类可以使用：
  1. BinaryComparator               匹配完整字节数组 
  2. BinaryPrefixComparator     匹配字节数组前缀 
  3. BitComparator
  4. NullComparator
  5. RegexStringComparator    正则表达式匹配
  6. SubstringComparator        子串匹配
1，FilterList
FilterList 代表一个过滤器链 ，它可以包含一组即将应用于目标数据集的过滤器 ，过滤器间具有“与”   FilterList.Operator.MUST_PASS_ALL   和“或”  FilterList.Operator.MUST_PASS_ONE  关系。
官网实例代码， 两个 “ 或” 关系的 过滤器 的写法：
[java]  view plain  copy
  1. FilterList list = new FilterList(FilterList.Operator.MUST_PASS_ONE);   //数据只要满足一组过滤器中的一个就可以  
  2. SingleColumnValueFilter filter1 = new SingleColumnValueFilter(cf,column,CompareOp.EQUAL,Bytes.toBytes("my value"));  
  3. list.add(filter1);  
  4. SingleColumnValueFilter filter2 = new SingleColumnValueFilter(cf,column,CompareOp.EQUAL,Bytes.toBytes("my other value"));  
  5. list.add(filter2);  
  6. Scan scan = new Scan();  
  7. scan.setFilter(list);  
2，列值过滤器--SingleColumnValueFilter
SingleColumnValueFilter 用于测试列值相等 (CompareOp.EQUAL ), 不等 (CompareOp.NOT_EQUAL),或单侧范围 (e.g., CompareOp.GREATER)。
构造函数：
（1）比较的关键字是一个字符数组
SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareFilter.CompareOp compareOp, byte[] value)
（2）比较的关键字是一个比较器（比较器下一小节做介绍）
SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareFilter.CompareOp compareOp, ByteArrayComparable comparator)
注意：根据列的值来决定这一行数据是否返回，落脚点在行，而不是列。我们可以设置filter.setFilterIfMissing(true);如果为true，当这一列不存在时，不会返回，如果为false，当这一列不存在时，会返回所有的列信息
测试表user内容如下：

java代码测试：
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.         SingleColumnValueFilter scvf= new SingleColumnValueFilter(Bytes.toBytes("account"), Bytes.toBytes("name"),   
  3.              CompareOp.EQUAL,"zhangsan".getBytes());  
  4.         scvf.setFilterIfMissing(true); //默认为false， 没有此列的数据也会返回 ，为true则只返回name=lisi的数据  
  5.         Scan scan = new Scan();  
  6.         scan.setFilter(scvf);  
  7.         ResultScanner resultScanner = table.getScanner(scan);  
  8.         for (Result result : resultScanner) {  
  9.              List<Cell> cells= result.listCells();      
  10.              for (Cell cell : cells) {  
  11.                  String row = Bytes.toString(result.getRow());  
  12.                  String family1 = Bytes.toString(CellUtil.cloneFamily(cell));  
  13.                  String qualifier = Bytes.toString(CellUtil.cloneQualifier(cell));  
  14.                  String value = Bytes.toString(CellUtil.cloneValue(cell));  
  15.                  System.out.println("[row:"+row+"],[family:"+family1+"],[qualifier:"+qualifier+"]"  
  16.                         + ",[value:"+value+"],[time:"+cell.getTimestamp()+"]");  
  17.             }  
  18.         }  
如果setFilterIfMissing(true), 有匹配只会返回当前列所在的行数据，基于行的数据 country 也返回了，因为他么你的rowkey是相同的
[java]  view plain  copy
  1. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  2. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  

如果setFilterIfMissing（false），有匹配的列的值相同会返回，没有此列的 name的也会返回，， 不匹配的name则不会返回。
下面 红色是匹配列内容的会返回，其他的不是account：name列也会返回，， name=lisi的不会返回，因为不匹配。
[java]  view plain  copy
  1. [row:lisi_1495527849910],[family:account],[qualifier:idcard],[value:42963319861234561230],[time:1495556647872]  
  2. [row:lisi_1495527850111],[family:account],[qualifier:password],[value:123451231236],[time:1495556648013]  
  3. [row:lisi_1495527850114],[family:address],[qualifier:city],[value:黄埔],[time:1495556648017]  
  4. [row:lisi_1495527850136],[family:address],[qualifier:province],[value:shanghai],[time:1495556648041]  
  5. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21],[time:1495556648045]  
  6. [row:lisi_1495527850154],[family:info],[qualifier:sex],[value:女],[time:1495556648056]  
  7. [row:lisi_1495527850159],[family:userid],[qualifier:id],[value:002],[time:1495556648060]  
  8. [row:wangwu_1495595824517],[family:userid],[qualifier:id],[value:009],[time:1495624624131]  
  9. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646],[time:1495556648664]  
  10. [row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898],[time:1495636370056]  
  11. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  12. <span style="color:#ff0000;">[row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]</span>  
  13. [row:zhangsan_1495527850951],[family:address],[qualifier:province],[value:guangdong],[time:1495556648855]  
  14. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100],[time:1495556648878]  
  15. [row:zhangsan_1495527851080],[family:info],[qualifier:sex],[value:男],[time:1495556648983]  
  16. [row:zhangsan_1495527851095],[family:userid],[qualifier:id],[value:001],[time:1495556648996]  


3 键值元数据
由于HBase 采用键值对保存内部数据，键值元数据过滤器评估一行的键 (ColumnFamily：Qualifiers) 是否存在  

3.1. 基于列族过滤数据的FamilyFilter
构造函数：
FamilyFilter(CompareFilter.CompareOp familyCompareOp, ByteArrayComparable familyComparator)
代码如下：
[java]  view plain  copy
  1.    public static ResultScanner getDataFamilyFilter(String tableName,String family) throws IOException{  
  2.         Table table = connection.getTable(TableName.valueOf("user"));  
  3.         FamilyFilter ff = new FamilyFilter(CompareOp.EQUAL ,   
  4.                 new BinaryComparator(Bytes.toBytes("account")));   //表中不存在account列族，过滤结果为空  
  5. //       new BinaryPrefixComparator(value) //匹配字节数组前缀  
  6. //       new RegexStringComparator(expr) // 正则表达式匹配  
  7. //       new SubstringComparator(substr)// 子字符串匹配   
  8.         Scan scan = new Scan();  
  9.         // 通过scan.addFamily(family)  也可以实现此操作  
  10.         scan.setFilter(ff);  
  11.         ResultScanner resultScanner = table.getScanner(scan);  
  12.         return resultScanner;  
  13.     }  
测试结果：查询的都是account列簇的内容
[java]  view plain  copy
  1. [row:lisi_1495527849910],[family:account],[qualifier:idcard],[value:42963319861234561230],[time:1495556647872]  
  2. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi],[time:1495556647984]  
  3. [row:lisi_1495527850111],[family:account],[qualifier:password],[value:123451231236],[time:1495556648013]  
  4. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646],[time:1495556648664]  
  5. [row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898],[time:1495636370056]  
  6. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  7. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  

3.2. 基于限定符Qualifier（列）过滤数据的QualifierFilter
构造函数：
QualifierFilter(CompareFilter.CompareOp op, ByteArrayComparable qualifierComparator)
[java]  view plain  copy
  1.     Table table = connection.getTable(TableName.valueOf("user"));  
  2.         QualifierFilter ff = new QualifierFilter(  
  3.                 CompareOp.EQUAL , new BinaryComparator(Bytes.toBytes("name")));  
  4. //       new BinaryPrefixComparator(value) //匹配字节数组前缀  
  5. //       new RegexStringComparator(expr) // 正则表达式匹配  
  6. //       new SubstringComparator(substr)// 子字符串匹配   
  7.         Scan scan = new Scan();  
  8.         // 通过scan.addFamily(family)  也可以实现此操作  
  9.         scan.setFilter(ff);  
  10.         ResultScanner resultScanner = table.getScanner(scan);  
测试结果：只返回 name 的列内容
[java]  view plain  copy
  1. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi],[time:1495556647984]  
  2. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  

3.3. 基于列名(即Qualifier)前缀过滤数据的ColumnPrefixFilter  （ 该功能用QualifierFilter也能实现 ）
构造函数：
ColumnPrefixFilter(byte[] prefix) 
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.          ColumnPrefixFilter ff = new ColumnPrefixFilter(Bytes.toBytes("name"));  
  3.         Scan scan = new Scan();  
  4.         // 通过QualifierFilter的 newBinaryPrefixComparator也可以实现  
  5.         scan.setFilter(ff);  
  6.         ResultScanner resultScanner = table.getScanner(scan);  

返回结果：
[java]  view plain  copy
  1. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi],[time:1495556647984]  
  2. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  

3.4. 基于多个列名(即Qualifier)前缀过滤数据的MultipleColumnPrefixFilter
MultipleColumnPrefixFilter 和 ColumnPrefixFilter 行为差不多，但可以指定多个前缀
[java]  view plain  copy
  1. byte[][] prefixes = new byte[][] {Bytes.toBytes("name"), Bytes.toBytes("age")};  
  2.         //返回所有行中以name或者age打头的列的数据  
  3.         MultipleColumnPrefixFilter ff = new MultipleColumnPrefixFilter(prefixes);  
  4.   
  5.         Scan scan = new Scan();  
  6.         scan.setFilter(ff);  
  7.         ResultScanner rs = table.getScanner(scan);    
结果:
[java]  view plain  copy
  1. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi],[time:1495556647984]  
  2. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21],[time:1495556648045]  
  3. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  
  4. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100],[time:1495556648878]  

3.5. 基于列范围过滤数据ColumnRangeFilter
构造函数：
ColumnRangeFilter(byte[] minColumn, boolean minColumnInclusive, byte[] maxColumn, boolean maxColumnInclusive)
参数解释：
  • minColumn - 列范围的最小值，如果为空，则没有下限；
  • minColumnInclusive - 列范围是否包含minColumn ；
  • maxColumn - 列范围最大值，如果为空，则没有上限；
  • maxColumnInclusive - 列范围是否包含maxColumn 。
代码：
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.         byte[] startColumn = Bytes.toBytes("a");  
  3.         byte[] endColumn = Bytes.toBytes("d");  
  4.         //返回所有列中从a到d打头的范围的数据，  
  5.         ColumnRangeFilter ff = new ColumnRangeFilter(startColumn, true, endColumn, true);  
  6.         Scan scan = new Scan();  
  7.         scan.setFilter(ff);  
  8.         ResultScanner rs = table.getScanner(scan);    
结果：返回列名开头是a 到  d的所有列数据
[java]  view plain  copy
  1. [row:lisi_1495527850114],[family:address],[qualifier:city],[value:黄埔],[time:1495556648017]  
  2. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21],[time:1495556648045]  
  3. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  4. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100],[time:1495556648878]  

4. RowKey
当需要根据行键特征查找一个范围的行数据时，使用Scan的 startRow和stopRow会更高效，但是， startRow和stopRow只能匹配行键的开始字符，而不能匹配中间包含的字符 ：
        byte[] startColumn = Bytes.toBytes("azha");
        byte[] endColumn = Bytes.toBytes("dddf");
        Scan scan = new Scan(startColumn,endColumn);
当需要针对行键进行更复杂的过滤时，可以使用 RowFilter：
构造函数：
RowFilter(CompareFilter.CompareOp rowCompareOp, ByteArrayComparable rowComparator)

代码：
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.         RowFilter rf = new RowFilter(CompareOp.EQUAL ,   
  3.                 new SubstringComparator("zhangsan"));  
  4.         //       new BinaryPrefixComparator(value) //匹配字节数组前缀  
  5.         //       new RegexStringComparator(expr) // 正则表达式匹配  
  6.         //       new SubstringComparator(substr)// 子字符串匹配   
  7.         Scan scan = new Scan();  
  8.         scan.setFilter(rf);  
  9.         ResultScanner rs = table.getScanner(scan);   
结果：
[java]  view plain  copy
  1. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646],[time:1495556648664]  
  2. [row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898],[time:1495636370056]  
  3. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  4. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  
  5. [row:zhangsan_1495527850951],[family:address],[qualifier:province],[value:guangdong],[time:1495556648855]  
  6. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100],[time:1495556648878]  
  7. [row:zhangsan_1495527851080],[family:info],[qualifier:sex],[value:男],[time:1495556648983]  
  8. [row:zhangsan_1495527851095],[family:userid],[qualifier:id],[value:001],[time:1495556648996]  

5.PageFilter
指定页面行数，返回对应行数的结果集。
需要注意的是，该过滤器并不能保证返回的结果行数小于等于指定的页面行数，因为过滤器是分别作用到各个region server的，它只能保证当前region返回的结果行数不超过指定页面行数。
构造函数：
PageFilter(long pageSize)
代码：
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.         PageFilter pf = new PageFilter(2L);  
  3.         Scan scan = new Scan();  
  4.         scan.setFilter(pf);  
  5.         scan.setStartRow(Bytes.toBytes("zhangsan_"));  
  6.         ResultScanner rs = table.getScanner(scan);  

结果：返回的结果实际上有四条，因为这数据来自不同RegionServer, 
[java]  view plain  copy
  1. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646],[time:1495556648664]  
  2. [row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898],[time:1495636370056]  
  3. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  4. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan],[time:1495556648729]  

6.SkipFilter
根据整行中的每个列来做过滤，只要存在一列不满足条件，整行都被过滤掉。
例如，如果一行中的所有列代表的是不同物品的重量，则真实场景下这些数值都必须大于零，我们希望将那些包含任意列值为0的行都过滤掉。
在这个情况下，我们结合ValueFilter和SkipFilter共同实现该目的：
scan.setFilter(new SkipFilter(new ValueFilter(CompareOp.NOT_EQUAL, new BinaryComparator(Bytes.toBytes(0))));
构造函数：
SkipFilter(Filter filter) 
代码：
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.         SkipFilter sf = new SkipFilter(new ValueFilter(CompareOp.NOT_EQUAL,  
  3.                 new BinaryComparator(Bytes.toBytes("zhangsan"))));  
  4.         Scan scan = new Scan();  
  5.         scan.setFilter(sf);  
  6.         ResultScanner rs = table.getScanner(scan);   
结果：
[java]  view plain  copy
  1. [row:lisi_1495527849910],[family:account],[qualifier:idcard],[value:42963319861234561230],[time:1495556647872]  
  2. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi],[time:1495556647984]  
  3. [row:lisi_1495527850111],[family:account],[qualifier:password],[value:123451231236],[time:1495556648013]  
  4. [row:lisi_1495527850114],[family:address],[qualifier:city],[value:黄埔],[time:1495556648017]  
  5. [row:lisi_1495527850136],[family:address],[qualifier:province],[value:shanghai],[time:1495556648041]  
  6. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21],[time:1495556648045]  
  7. [row:lisi_1495527850154],[family:info],[qualifier:sex],[value:女],[time:1495556648056]  
  8. [row:lisi_1495527850159],[family:userid],[qualifier:id],[value:002],[time:1495556648060]  
  9. [row:wangwu_1495595824517],[family:userid],[qualifier:id],[value:009],[time:1495624624131]  
  10. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646],[time:1495556648664]  
  11. [row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898],[time:1495636370056]  
  12. [row:zhangsan_1495527850951],[family:address],[qualifier:province],[value:guangdong],[time:1495556648855]  
  13. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100],[time:1495556648878]  
  14. [row:zhangsan_1495527851080],[family:info],[qualifier:sex],[value:男],[time:1495556648983]  
  15. [row:zhangsan_1495527851095],[family:userid],[qualifier:id],[value:001],[time:1495556648996]  
和原来数据相比  列值为name的 zhagnsan的所在行的 rowkey   为   zhangsan_1495527850824 在上面结果中是过滤了
[java]  view plain  copy
  1. [row:lisi_1495527849910],[family:account],[qualifier:idcard],[value:42963319861234561230]  
  2. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi]  
  3. [row:lisi_1495527850111],[family:account],[qualifier:password],[value:123451231236]  
  4. [row:lisi_1495527850114],[family:address],[qualifier:city],[value:黄埔]  
  5. [row:lisi_1495527850136],[family:address],[qualifier:province],[value:shanghai]  
  6. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21]  
  7. [row:lisi_1495527850154],[family:info],[qualifier:sex],[value:女]  
  8. [row:lisi_1495527850159],[family:userid],[qualifier:id],[value:002]  
  9. [row:wangwu_1495595824517],[family:userid],[qualifier:id],[value:009]  
  10. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646]  
  11. [row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898]  
  12. <strong><span style="color:#ff0000;">[row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china]  
  13. [row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan]</span></strong>  
  14. [row:zhangsan_1495527850951],[family:address],[qualifier:province],[value:guangdong]  
  15. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100]  
  16. [row:zhangsan_1495527851080],[family:info],[qualifier:sex],[value:男]  
  17. [row:zhangsan_1495527851095],[family:userid],[qualifier:id],[value:001]  
7. FirstKeyOnlyFilter
该过滤器仅仅返回每一行中的第一个cell的值， 可以用于高效的执行行数统计操作。
构造函数：
public FirstKeyOnlyFilter()

代码
[java]  view plain  copy
  1. Table table = connection.getTable(TableName.valueOf("user"));  
  2.          FirstKeyOnlyFilter fkof = new FirstKeyOnlyFilter();  
  3.             Scan scan = new Scan();  
  4.             scan.setFilter(fkof);  
  5.             ResultScanner rs = table.getScanner(scan);   

结果： 看着返回数据还没明白， 仅仅返回每一行中的第一个cell的值， 可以用于高效的执行行数统计操作。
[java]  view plain  copy
  1. [row:lisi_1495527849910],[family:account],[qualifier:idcard],[value:42963319861234561230],[time:1495556647872]  
  2. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi],[time:1495556647984]  
  3. [row:lisi_1495527850111],[family:account],[qualifier:password],[value:123451231236],[time:1495556648013]  
  4. [row:lisi_1495527850114],[family:address],[qualifier:city],[value:黄埔],[time:1495556648017]  
  5. [row:lisi_1495527850136],[family:address],[qualifier:province],[value:shanghai],[time:1495556648041]  
  6. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21],[time:1495556648045]  
  7. [row:lisi_1495527850154],[family:info],[qualifier:sex],[value:女],[time:1495556648056]  
  8. [row:lisi_1495527850159],[family:userid],[qualifier:id],[value:002],[time:1495556648060]  
  9. [row:wangwu_1495595824517],[family:userid],[qualifier:id],[value:009],[time:1495624624131]  
  10. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646],[time:1495556648664]  
  11. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china],[time:1495636452285]  
  12. [row:zhangsan_1495527850951],[family:address],[qualifier:province],[value:guangdong],[time:1495556648855]  
  13. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100],[time:1495556648878]  
  14. [row:zhangsan_1495527851080],[family:info],[qualifier:sex],[value:男],[time:1495556648983]  
  15. [row:zhangsan_1495527851095],[family:userid],[qualifier:id],[value:001],[time:1495556648996]  
对比原数据“
[java]  view plain  copy
  1. [row:lisi_1495527849910],[family:account],[qualifier:idcard],[value:42963319861234561230]  
  2. [row:lisi_1495527850081],[family:account],[qualifier:name],[value:lisi]  
  3. [row:lisi_1495527850111],[family:account],[qualifier:password],[value:123451231236]  
  4. [row:lisi_1495527850114],[family:address],[qualifier:city],[value:黄埔]  
  5. [row:lisi_1495527850136],[family:address],[qualifier:province],[value:shanghai]  
  6. [row:lisi_1495527850144],[family:info],[qualifier:age],[value:21]  
  7. [row:lisi_1495527850154],[family:info],[qualifier:sex],[value:女]  
  8. [row:lisi_1495527850159],[family:userid],[qualifier:id],[value:002]  
  9. [row:wangwu_1495595824517],[family:userid],[qualifier:id],[value:009]  
  10. [row:zhangsan_1495527850759],[family:account],[qualifier:idcard],[value:9897645464646]  
  11. <strong><span style="color:#ff0000;">[row:zhangsan_1495527850759],[family:account],[qualifier:passport],[value:5689879898]</span></strong>  
  12. [row:zhangsan_1495527850824],[family:account],[qualifier:country],[value:china]  
  13. <strong><span style="color:#ff0000;">[row:zhangsan_1495527850824],[family:account],[qualifier:name],[value:zhangsan]</span></strong>  
  14. [row:zhangsan_1495527850951],[family:address],[qualifier:province],[value:guangdong]  
  15. [row:zhangsan_1495527850975],[family:info],[qualifier:age],[value:100]  
  16. [row:zhangsan_1495527851080],[family:info],[qualifier:sex],[value:男]  
  17. [row:zhangsan_1495527851095],[family:userid],[qualifier:id],[value:001]  
对比一下明显，rowkey相同的只会返回第一个rowkey的所在cell数据
mn_kw
关注
专栏目录
Hbase FilterList使用总结
Syn良子的博客
08-31 1323
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl/p/7098138.html 转载请注明出处 我们知道Hbase的Scan经常需要用到filter来过滤表中的数据返回给客户端，单个的filter还好说，如果有多个呢，那么就需要使用FilterList,它也是继承于抽象类Filter, 里面持久化了一个有序的order list来存储不同的filter对数据进
漫谈HBase Filter
小米云技术
07-09 1210
初衷 对数据库来说，满足业务多样化的查询方式非常重要。如果说有人设计了一个KV数据库，只提供了Get/Put/Scan这三种接口，估计要被用户吐槽到死，毕竟现实的业务场景并不简单。就以订单系统来说，查询给定用户最近三个月的历史订单，这里面的过滤条件就至少有2个：1. 查指定用...
HBase Filter使用方法（一）
weixin_34087307的博客
08-01 126
2019独角兽企业重金招聘Python工程师标准>>> ...
Hbase的Filter详解使用
奔跑的蜗牛的博客
05-24 2万+
参数基础 有两个参数类在各类Filter中经常出现，统一介绍下： （1）比较运算符 CompareFilter.CompareOp 比较运算符用于定义比较关系，可以有以下几类值供选择： EQUAL                                  相等 GREATER                              大于 GREATER_OR_
[HBase基础]--40种HBase Filter的使用说明
欢迎来到我的博客，一起探索代码里的世界！
05-11 1018
版本：HBase-1.2.x参考：http://hbase.apache.org/1.2/devapidocs/org/apache/hadoop/hbase/filter/package-use.html#org.apache.hadoop.hbase.filterhttp://hbase.apache.org/1.2/devapidocs/index.html说明：Classes in org...
Hbase 笔记(4) 客户端API高级性能
weixin_30265103的博客
11-14 133
1、比较运算符 CompareFilter.CompareOp.LESS CompareFilter.CompareOp.LESS_OR_EQUAL CompareFilter.CompareOp.EQUAL CompareFilter.CompareOp.NOT_EQUAL CompareFilter.CompareOp.GREATER_OR_EQUAL CompareFilter....
HBase内置过滤器的一些总结
热门推荐
01-20 4万+
HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryCompar
HBase Filter 过滤器之 Comparator 原理及源码学习
weixin_42047967的博客
04-25 1173
前言：上篇文章HBase Filter 过滤器概述对HBase过滤器的组成及其家谱进行简单介绍，本篇文章主要对HBase过滤器之比较器作一个补充介绍，也算是HBase Filter学习的必备低阶魂技吧。本篇文中源码基于HBase 1.1.2.2.6.5.0-292 HDP版本。 HBase所有的比较器实现类都继承于父类ByteArrayComparable，而ByteArrayComparab...
Hbase Filter+Scan 查询效率优化
u013465194的博客
10-14 1万+
Hbase Fileter+Scan 查询效率问题 众所周知，Hbase利用filter过滤器查询时候会进行全表扫描，查询效率低下，如果没有二级索引，在项目中很多情况需要利用filter,下面针对这种情况尝试了几种优化的方案，仅供参考，欢迎交流。 根据业务要求，作者需要根据时间范围搜索所需要的数据，所以作者设计的rowKey是以时间戳为起始字符串的。 正确尝试： 1.scan 设置 开始行和结束行...
HBase Filter 过滤器之RowFilter详解
weixin_42047967的博客
05-04 2711
前言：本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowFilter 基于行键进行过滤，在工作中涉及到需要通过HBase Rowkey进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文：HBase Filter 过滤器之比较器 Comparator 原理及源码学习 一。Java Api 头部代码 publi...
Hbase 过滤器以及比较器案例
a2615381的专栏
08-10 884
hbase过滤查询， 感觉还是很有用的。 几率一下案例， 备用  比较器运算符      左边是代码名称，右边是 含义             CompareOp.EQUAL; =             CompareOp.LESS ;             CompareOp.LESS_OR_EQUAL;              CompareOp.NOT_EQUAL ;!
HBase内置过滤器的总结
weixin_30699831的博客
10-25 78
1、RowFilter:筛选出匹配的所有的行(使用过)eg：Filter rf=new RowFilter(CompareFilter.CompareOp.EQUAL,new BinaryComparator(Bytes.toBytes("row1")));//OK筛选出匹配的所有的行 2、PrefixFilter:筛选出具有特定前缀的行健的数据Filter pf=new Prefix...
Hbase - 比较器、过滤器、过滤器的操作符
Sha0w的博客
12-09 7946
过滤器的操作符LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >= GREATER > NO_OP no operation比较器BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.compareTo(byte[]) BinaryPrefixComparator 跟前面相同，只是比较左端的数
HBase查询（1）---Comparision Filters比较过滤器
bingjie1217的专栏
09-24 3996
1.1  RowFilter 构造函数 public RowFilter(CompareOp rowCompareOp, WritableByteArrayComparable rowComparator) {}   选择比较rowkey来确定选择合适的行信息。   示例代码： package filter;   import java.io.IOException
简单统计Hbase某列个数笔记
唤不醒的梦
08-15 1913
思路：将hbase表中数据输出到本地文件中，通过linux命令查找指定字符串个数。 echo "scan 'TestTable'"|hbase shell |grep column > test.txt cat test.txt |grep "TestColumn" |wc -l
hbase shell操作之scan+filter
赶路人儿
06-27 8768
创建表 create 'test1', 'lf', 'sf'lf: column family of LONG values (binary value) -- sf: column family of STRING values 导入数据 put 'test1', 'user1|ts1', 'sf:c1', 'sku1' put 'test1', 'user1|ts2', 'sf:c1'
HBase - Filter - 过滤器的介绍以及使用
qq_36864672的博客
11-24 1万+
1 过滤器 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filter）来查询。 1.1 过滤器的两类参数 过滤器可以根据列族、列、
HBase过滤器Filter总结
MY BLOG
06-13 3918
一、HBase的scan可通过setStartRow、setStopRow对rowkey范围进行过滤 二、HBase中的get、scan都支持过滤器，过滤器在服务端生效，这样可以保证被过滤掉的数据不会被传送到客户端，从而提高了代码运行的效率。 三、过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，hbase中过滤器分类： 1、RowFilter 说明：筛选出匹配的所有的行，支持基于行键过滤数据，可以执行精确匹配，子字符串匹配或正则表达式匹配，过滤掉不匹配的数据。 用法：使用Binary
HBase查询优化：Filter详解与应用
"这篇资源主要涉及HBase的查询方法，特别是使用过滤器（filter）进行高效查询。提供了多个不同类型的过滤器，包括比较过滤器、专用过滤器和装饰过滤器的介绍及示例代码，旨在帮助用户理解并应用HBase的查询技术。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值