hbase 0.94的filter测试代码

最新推荐文章于 2022-09-19 14:04:43 发布
最新推荐文章于 2022-09-19 14:04:43 发布
阅读量886 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pigHead_chen/article/details/8980550
版权

1，RowFilter的使用

package hTableManagement;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter;
import org.apache.hadoop.hbase.filter.PageFilter;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.util.Bytes;

public class MyRowFilter {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		Configuration conf = HBaseConfiguration.create();
		
		HTable table = new HTable(conf, "p9");
		
		Scan scan = new Scan();
//		scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("p1"));
		RowFilter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("6jnvv2k"));
			
		scan.setFilter(filter1);
		ResultScanner rs = table.getScanner(scan);
		try
		{
			for(Result rr = rs.next(); rr != null; rr = rs.next()) {
				for(KeyValue kv : rr.raw()) {
					System.out.println("KV:" + kv + "value: " + Bytes.toString(kv.getValue()));
				}
			}
		}
		catch(Exception e) {
			e.printStackTrace();
			rs.close();
		}
	}

}


 

2，PageFilter返回指定数目的结果

package hTableManagement;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.PageFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.util.Bytes;

public class PageFilterTest {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		Configuration conf = HBaseConfiguration.create();
		
		HTable table = new HTable(conf, "p9");
		
		Scan scan = new Scan();
		scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("p1"));
		PageFilter pageFilter = new PageFilter(2);		


		scan.setFilter(pageFilter);
		ResultScanner rs = table.getScanner(scan);
		try
		{
			for(Result rr = rs.next(); rr != null; rr = rs.next()) {
				for(KeyValue kv : rr.raw()) {
					System.out.println("KV:" + kv + "value: " + Bytes.toString(kv.getValue()));
				}
			}
		}
		catch(Exception e) {
			e.printStackTrace();
			rs.close();
		}
	}

}


3，SingleColumnValueFilter测试

package hTableManagement;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.util.Bytes;

public class SingleColumnValueFilterTest {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		Configuration conf = HBaseConfiguration.create();
		
		HTable table = new HTable(conf, "p9");
		
		Scan scan = new Scan();
					
		SingleColumnValueFilter filter1 = new SingleColumnValueFilter(
				Bytes.toBytes("cf"), 
				Bytes.toBytes("p1"),
				CompareOp.EQUAL,
				Bytes.toBytes("13826021287"));
		filter1.setFilterIfMissing(true);
		filter1.setLatestVersionOnly(false);

		scan.setFilter(filter1);
		ResultScanner rs = table.getScanner(scan);
		try
		{
			for(Result rr = rs.next(); rr != null; rr = rs.next()) {
				for(KeyValue kv : rr.raw()) {
					System.out.println("KV:" + kv + "value: " + Bytes.toString(kv.getValue()));
				}
			}
		}
		catch(Exception e) {
			e.printStackTrace();
			rs.close();
		}
	}

}


 

4，SingleColumnValueFilter正则表达式测试

package hTableManagement;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.RegexStringComparator;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.util.Bytes;

public class MyFilterList_Regex {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
Configuration conf = HBaseConfiguration.create();
		
		HTable table = new HTable(conf, "p9");
		
		Scan scan = new Scan();
		scan.setStartRow(Bytes.toBytes("lgofboem9q6jnvv2kfcpj3saq09h8u5ygy8"));
		scan.setStopRow(Bytes.toBytes("lgofboem9q6jnvv2kfcpj3saq09h8u5ygy85"));		
		FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL);
		RegexStringComparator com = new RegexStringComparator("138\\d{8}");
		SingleColumnValueFilter filter1 = new SingleColumnValueFilter(
				Bytes.toBytes("cf"), 
				Bytes.toBytes("p1"),
				CompareOp.EQUAL,
				com);
		filter1.setFilterIfMissing(true);
		filter1.setLatestVersionOnly(false);
		filters.addFilter(filter1);

		scan.setFilter(filters);
		ResultScanner rs = table.getScanner(scan);
		try
		{
			for(Result rr = rs.next(); rr != null; rr = rs.next()) {
				for(KeyValue kv : rr.raw()) {
					System.out.println("KV:" + kv + "value: " + Bytes.toString(kv.getValue()));
				}
			}
		}
		catch(Exception e) {
			e.printStackTrace();
			rs.close();
		}
	}

}


5，FilterList的MUST_PASS_ALL测试

package hTableManagement;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.util.Bytes;

public class MyFilterList_NotAll {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
Configuration conf = HBaseConfiguration.create();
		
		HTable table = new HTable(conf, "p9");
		
		Scan scan = new Scan();
		scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("p1"));
		scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("p2"));
		scan.setStartRow(Bytes.toBytes("lgofboem9q6jnvv2kfcpj3saq09h8u5ygy8"));
		scan.setStopRow(Bytes.toBytes("lgofboem9q6jnvv2kfcpj3saq09h8u5ygy89"));		
		FilterList filters = new FilterList(FilterList.Operator.MUST_PASS_ALL);
		SingleColumnValueFilter filter1 = new SingleColumnValueFilter(
				Bytes.toBytes("cf"), 
				Bytes.toBytes("p1"),
				CompareOp.EQUAL,
				Bytes.toBytes("13826021287"));
		filter1.setFilterIfMissing(true);
		filter1.setLatestVersionOnly(false);
		filters.addFilter(filter1);
		SingleColumnValueFilter filter2 = new SingleColumnValueFilter(
				Bytes.toBytes("cf"), 
				Bytes.toBytes("p2"),
				CompareOp.EQUAL,
				Bytes.toBytes("13828404306"));
		filter2.setFilterIfMissing(true);
		filter2.setLatestVersionOnly(false);
		filters.addFilter(filter2);
		scan.setFilter(filters);
		ResultScanner rs = table.getScanner(scan);
		try
		{
			for(Result rr = rs.next(); rr != null; rr = rs.next()) {
				for(KeyValue kv : rr.raw()) {
					System.out.println("KV:" + kv + "value: " + Bytes.toString(kv.getValue()));
				}
			}
		}
		catch(Exception e) {
			e.printStackTrace();
			rs.close();
		}
	}

}


6，

pigHead_chen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase基础入门|原理
路漫漫，水迢迢
09-26 1339
HBase是一个面向海量数据场景，分布式的、多版本、面向列的开源KV数据库。运行在HDFS的基础上，支持PB级别、百万列的数据存储。
HBase
helloworld999999的博客
01-21 3668
一、初始HBase 1.1 HBase简介 1.1.1 HBase是什么 HBase是Goole的BigTable论文而来，是一个分布式海量列示非关系型数据库系统，可以提供超大规模数据集的实时随机读写。 认识HBase列存储 如下是MySql存储机制，空值字段浪费存储空间 如果是列存储的话： 列存储的优点： 1.减少存储空间的占用。 ...
【HBase进阶】-- HBase万亿级存储性能优化总结(0.94版本)
最新发布
欢迎来到我的博客，一起探索代码里的世界！
09-19 596
8.hbase.hregion.memstore.block.multiplier：默认值2，如果一个memstore的内存大小已经超过hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier，则会阻塞该memstore的写操作，为避免阻塞，建议设置为5，如果太大，则会有OOM的风险。2.hbase.master.distributed.log.splitting：默认值为true，建议设为false。
Hbase 0.94(基于hadoop1)迁移数据到hbase 0.98(基于hadoop2)
rockey_jiang的博客
08-27 456
前提，集群可以通信。   设定：   hbase 0.94集群名称为src-hadoop1-cluster   hbase 0.98集群名称为dst-hadoop2-cluster   迁移数据表名称为: migration_table   使用Import, Export导出及导入 1. 从0.94上导出数据到0.94集群hdfs上，假设目录名称为/migration/hbas
Ubuntu环境下Hadoop1.2.1, HBase0.94.25, nutch2.2.1各个配置文件一览
weixin_30491641的博客
12-21 268
/×××××××××××××××××××××××××××××××××××××××××/ Author：xxx0624 HomePage：http://www.cnblogs.com/xxx0624/ /×××××××××××××××××××××××××××××××××××××××××/ Hadoop伪分布式配置过程： Hadoop：1.2.1 Hbase：0.94.25...
基于0.94版本改动client端源码支持HBase分页
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
05-16 3763
平台中有一个场景是要做用户历史订单数据的查询，并且需要支持分页。 HBase中目前只支持rowkey一级索引，对二级索引还不太支持，我在以前的blog中提出了一种基于solr+hbase的解决方案 ， 下面这种做法是基于HBase的rowkey的设计采用的另外一种方案，这种方案只依赖于HBase，耦合性要小一些。 HBase版本是基于0.94，需要在这个版本的基础上对源码做适当的改造，主要是
hbase(0.94) get、scan源码分析
weixin_30525825的博客
01-20 165
简介 本文是需要用到hbase timestamp性质时研究源码所写.内容有一定侧重.且个人理解不算深入,如有错误请不吝指出. 如何看源码 hbase依赖很重,没有独立的client包.所以目前如果在maven中指定如下: <dependency> <groupId>org.apache.hbase</groupId> <arti...
hbase 0.94.0 0.94.9 0.94.24 功能不兼容初步分析
zhang_xzhi's blog
12-04 171
hbase 0.94.0 0.94.9 0.94.24 功能不兼容初步分析 测试原因： 原有的simplehbase count测试代码当hbase从某个集团版本升级后，部分测试代码不通过，怀疑hbase的各个版本有兼容性问题。 测试环境： 0.94.0 0.94.9 0.94.24使用本机的独立部署hbase。 client 0.94.9 测试数据: [cod...
hbase0.94java源代码
05-28
通过深入学习HBase 0.94的源代码，开发者可以了解到如何处理分布式一致性、数据分区、数据复制等复杂问题，这对于构建大规模分布式系统非常有价值。同时，了解源代码有助于开发者更好地利用HBase特性，优化数据访问...
Hbase 0.94 api
08-20
**HBase 0.94 API 知识点详解** HBase 是一个基于谷歌 Bigtable 模型构建的开源分布式数据库，属于 Apache Hadoop 生态系统的一部分。它设计用于存储和处理大规模数据，尤其适用于半结构化数据的实时查询。HBase ...
Hadoop用Sqoop连接Sql Server 2008
pigHead_chen的专栏
03-15 4979
依然是ubuntu12 第一步安装Sqoop 1，download  tarball 2，解压到/usr/local/Sqoop-x.x.x，并重命名为Sqoop 3，设置SQOOP_PATH。 hduser@localhost:/usr/local/sqoop$ export SQOOP_HOME="/usr/local/sqoop" hduser@localhost:/usr/lo
从hdfs批量导数据到hbase
pigHead_chen的专栏
03-15 3261
从hdfs导数据到hbase 1，创建表n0，包含5个字段gvbtc hbase(main):002:0> create 'n0','row','g','v','b','t','c' 2，用ImportTsv 导数据，修改-D为 -Dimporttsv.separator=,则以逗号分隔的数据 hduser@localhost:/usr/local/hbase$ bin/hbase org
ubuntu下生成Hadoop的eclipse插件
pigHead_chen的专栏
03-15 1902
编译前的准备： 我用到是ubuntu12，默认没有安装ant。 第一步安装Ant 1，从http://www.apache.org/dist/ant 下载 apache-ant-1.8.4-bin.tar.gz 2，解压到/usr/local/ant 3，设置环境变量 ANT_HOME="/usr/local/ant" export PATH=${ANT_HOME}/bin:$PAT
在ubuntu上安装jdk
pigHead_chen的专栏
02-27 1388
我先在WIN7上安装了vmware，在vmware上安装了ubuntu。这样就有双系统了。只要安装vmware tools，就可以方便的在WIN7和ubuntu之间传文件了。   首先下载jdk7。地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html  jdk-7u15-l
从ftp下载日志到hbase
pigHead_chen的专栏
03-15 1201
1，写Java代码import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSD
hbase总结一
pigHead_chen的专栏
05-17 1124
随时更新 一，RowKey设计 瘦表更加高效一点       二，Scan.addColumn(byte[] family, byte[] qualifier)方法 如果添加了两列 scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("p1"));   scan.addColumn(Bytes.toBytes("cf"), Byte
hBase独立模式的安装与测试
pigHead_chen的专栏
03-15 1075
独立模式 1，从http://www.apache.org/dyn/closer.cgi/hbase/ 下载hbase 2，把下载的hbase-0.94.5.tar.gz解压到/usr/local目录下，并重命名hbase-0.94.5为hbase 3，配置环境变量 在/etc/profile.d文件夹下添加hbase.sh 添加 export HBASE_HOME=/usr/loca
hbase 0.94一些基本操作测试代码
pigHead_chen的专栏
05-27 932
1，用Get方法 package hTableManagement; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.KeyValu
HBase查询优化：Filter详解与应用
"这篇资源主要涉及HBase的查询方法，特别是使用过滤器（filter）进行高效查询。提供了多个不同类型的过滤器，包括比较过滤器、专用过滤器和装饰过滤器的介绍及示例代码，旨在帮助用户理解并应用HBase的查询技术。" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值