habse java api使用操作

最新推荐文章于 2022-10-17 22:39:22 发布
最新推荐文章于 2022-10-17 22:39:22 发布
阅读量130 收藏
点赞数
文章标签： java 大数据
原文链接：https://my.oschina.net/penngo/blog/517228
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

上一篇cm5.4和cdh5.4安装(http://my.oschina.net/penngo/blog/517223)，本文使用HBase的java客户端api操作Hbase。

需要用到的包可以在/opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/jars找到，hbase版本1.0.0

180449_9p5L_117179.png

HbaseTest3.java代码例子

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.filter.ValueFilter;
import org.apache.hadoop.hbase.util.Bytes;

public class HbaseTest3 {
	private Connection connection = null;

	public HbaseTest3() {

	}

	public void createTable(String tableName) {
		try {
			System.out.println("start create table ......");
			Connection con = this.getConnection();
			HBaseAdmin hBaseAdmin = (HBaseAdmin) con.getAdmin();
			if (hBaseAdmin.tableExists(tableName)) {// 如果存在要创建的表，那么先删除，再创建
				hBaseAdmin.disableTable(tableName);
				hBaseAdmin.deleteTable(tableName);
				System.out.println(tableName + " is exist,detele....");
			}

			HTableDescriptor tableDescriptor = new HTableDescriptor(
					TableName.valueOf(tableName));
			tableDescriptor.addFamily(new HColumnDescriptor("column1"));
			tableDescriptor.addFamily(new HColumnDescriptor("column2"));
			tableDescriptor.addFamily(new HColumnDescriptor("column3"));
			hBaseAdmin.createTable(tableDescriptor);
			System.out.println("create table success......");
		} catch (MasterNotRunningException e) {
			e.printStackTrace();
		} catch (ZooKeeperConnectionException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}

	}

	public void insertData(String tableName) {
		System.out.println("start insert data ......");

		try {
			Connection con = this.getConnection();
			Table table = con.getTable(TableName.valueOf(tableName));
			// HTablePool pool = new HTablePool(configuration, 1000);
			// HTable table = (HTable) pool.getTable(tableName);
			Put put = new Put("112233bbbcccc".getBytes());// 一个PUT代表一行数据，再NEW一个PUT表示第二行数据,每行一个唯一的ROWKEY，此处rowkey为put构造方法中传入的值
			put.addColumn("column1".getBytes(), null, "aaa2".getBytes());// 本行数据的第一列
			put.addColumn("column2".getBytes(), null, "bbb2".getBytes());// 本行数据的第三列
			put.addColumn("column3".getBytes(), null, "ccc2".getBytes());// 本行数据的第三列
			table.put(put);
			// pool.getTable(tableName).put(put);
		} catch (IOException e) {
			e.printStackTrace();
		}
		System.out.println("end insert data ......");
	}

	public void queryAll(String tableName) {
		// HTablePool pool = new HTablePool(configuration, 1000);
		// HTable table = (HTable) pool.getTable(tableName);
		try {
			Connection con = this.getConnection();
			Table table = con.getTable(TableName.valueOf(tableName));
			ResultScanner rs = table.getScanner(new Scan());
			for (Result r : rs) {
				System.out.println("获得到rowkey:" + new String(r.getRow()));
				for (KeyValue keyValue : r.raw()) {
					System.out.println("列：" + new String(keyValue.getFamily())
							+ "====值:" + new String(keyValue.getValue()));
				}
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	public void queryByCondition1(String tableName) {

		try {
			Connection con = this.getConnection();
			Table table = con.getTable(TableName.valueOf(tableName));
			Get scan = new Get("112233bbbcccc".getBytes());// 根据rowkey查询
			Result r = table.get(scan);
			System.out.println("获得到rowkey:" + new String(r.getRow()));
			for (KeyValue keyValue : r.raw()) {
				System.out.println("列：" + new String(keyValue.getFamily())
						+ "====值:" + new String(keyValue.getValue()));
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

	public void queryByCondition2(String tableName) {

		try {
			Connection con = this.getConnection();
			Table table = con.getTable(TableName.valueOf(tableName));
			Filter filter = new SingleColumnValueFilter(
					Bytes.toBytes("column1"), null, CompareOp.EQUAL,
					Bytes.toBytes("aaa2")); // 当列column1的值为aaa时进行查询
			Scan s = new Scan();
			s.setFilter(filter);
			ResultScanner rs = table.getScanner(s);
			for (Result r : rs) {
				System.out.println("获得到rowkey:" + new String(r.getRow()));
				for (KeyValue keyValue : r.raw()) {
					System.out.println("列：" + new String(keyValue.getFamily())
							+ "====值:" + new String(keyValue.getValue()));
				}
			}
		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public void queryByCondition3(String tableName) {
		try {
			Connection con = this.getConnection();
			Table table = con.getTable(TableName.valueOf(tableName));
//			提取rowkey以cccc结尾数据
//			Filter filter1 = new RowFilter(CompareOp.EQUAL,new RegexStringComparator(".*cccc$"));
//
//			提取rowkey以包含bbb的数据
//			Filter filter1 = new RowFilter(CompareOp.EQUAL,new SubstringComparator("bbb"));

//			提取rowkey以123开头的数据
			Filter filter1 = new RowFilter(CompareOp.EQUAL,new BinaryPrefixComparator("1122".getBytes()));

//			Filter filter1 = new RowFilter(CompareOp.EQUAL,
//					new BinaryComparator(Bytes.toBytes(rowkey)));

			Scan scan = new Scan();
			scan.setFilter(filter1);

			ResultScanner rs = table.getScanner(scan);
			for (Result r : rs) {
				System.out.println("获得到rowkey:" + new String(r.getRow()));
				for (Cell cell : r.rawCells()) {
					System.out.println("列："
							+ new String(CellUtil.cloneFamily(cell)) + "====值:"
							+ new String(CellUtil.cloneValue(cell)));
				}
			}
			rs.close();

		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public void queryByCondition4(String tableName) {
		try {
			Connection con = this.getConnection();
			Table table = con.getTable(TableName.valueOf(tableName));
			Filter filter1 = new ValueFilter(CompareOp.EQUAL,
					new SubstringComparator("aaa2"));
			Scan scan = new Scan();
			scan.setFilter(filter1);

			ResultScanner rs = table.getScanner(scan);
			for (Result r : rs) {
				System.out.println("获得到rowkey:" + new String(r.getRow()));
				for (Cell cell : r.rawCells()) {
					System.out.println("列："
							+ new String(CellUtil.cloneFamily(cell)) + "====值:"
							+ new String(CellUtil.cloneValue(cell)));
				}
			}
			rs.close();

		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public void close() throws IOException {
		if (connection != null) {
			connection.close();
		}
	}

	public Connection getConnection() throws IOException {
		Configuration configuration = HBaseConfiguration.create();
		configuration.set("hbase.zookeeper.property.clientPort", "2181");
		configuration.set("hbase.zookeeper.quorum", "192.168.17.108");
		if (connection == null) {
			connection = ConnectionFactory.createConnection(configuration);
		}
		return connection;
	}

	public static void main(String[] args) {
		HbaseTest3 hbaseTest = new HbaseTest3();
		try {
			String tableName = "test1";
			 hbaseTest.createTable("test1");
			 hbaseTest.insertData("test1");
			 hbaseTest.queryAll("test1");
			// hbaseTest.queryByCondition1(tableName);
//			 hbaseTest.queryByCondition2(tableName);
//			hbaseTest.queryByCondition3(tableName);
//			hbaseTest.queryByCondition4(tableName);
			hbaseTest.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}

 

运行结果：

180755_4Js8_117179.png

 

HBase过滤器提供了非常强大的特性来帮助用户提高其处理表中数据的效率。用户不仅可以使用HBase中已经定义好的过滤器，还可以自定义过滤器。

Get和Scan两个类都支持过滤器。

CompareFilter中的比较运算符

操作描述
LESS匹配小于设定值的值
LESS_OR_EQUAL匹配小于或等于设定值的值
EQUAL匹配等于设定值的值
NOT_EQUAL匹配大于设定值不相同的值
GREATER_OR_EQUAL匹配大于或等于设定值的值
GREATER匹配大于设定值的值
NOT_OP排除一切值

比较器

比较器描述
BinaryComparator使用Bytes.compareTo()比较当前值与阈值
BinaryPrefixComparator与上面的相似，使用Bytes.compareTo()进行匹配，但是是从左端开始前缀匹配
NullComparator不做匹配，只判断当前值是不是null
BitComparator通过BitwiseOp类提供的按位与（AND），或（OR），异或（XOR）操作执行位级比较
RegexStringComparator根据一个正则表达式，在实例化这个比较器的时候去匹配表中数据
SubstringComparator把阈值和表中数据当做String实例，同时通过contains()操作匹配字符串

比较过滤器

RowFilter（行过滤器）

行过滤器是基于行键来过滤数据

FamilyFilter（列族过滤器）

列族过滤器是基于列族来进行过滤数据

QualifierFilter（列名过滤器）

列名过滤器用户筛选特定的列

ValueFilter（值过滤器）

值过滤器用户筛选某个特定值的单元格。与RegexStringComparator配合使用，可以使用功能强大的表达式来进行筛选。

DependentColumnFilter（参考列过滤器）

参考列过滤器不仅仅简单的通过用户指定的信息筛选数据，还允许用户指定一个参考列或是引用列。并使用参考列控制其他列的过滤。

专用过滤器

SingleColumnValueFilter

用一列的值决定是否一行数据是否被过滤

SingleColumnValueExcludeFilter（单列排除过滤器）

该过滤器继承SingleColumnValueFilter，反考烈不会包含在结果中。

PrefixFilter（前缀过滤器）

筛选出具有特点前缀的行键的数据。扫描操作以字典序查找，当遇到比前缀大的行时，扫描结束。PrefixFilter对get()方法作用不大。前缀过滤器只针对行键。

PageFilter（分页过滤器）

可以使用这个过滤器对结果按行分页。当用户创建PageFilter的实例的时候，指定了pageSize，这个参数可以控制每页返回的行数。

KeyOnlyFilter（行键过滤器）

只返回每行的行键，不返回值。对于之关注于行键的应用常见来说非常合适，不返回值，可以减少传递到客户端的数据量，能起到一定的优化作用。

FirstKeyOnlyFilter（首次行键过滤器）

只想返回的结果集中只包含第一列的数据

InclusiveStopFilter（包含结束的过滤器）

开始行被包含在结果中，单终止行被排除在外，使用这个过滤器，也可以将结束行包含在结果中。

TimestampFilter（时间戳过滤器）

使用时间戳过滤器可以对扫描结果中对版本进行细粒度的控制。

ColumnCountGetFilter（列计数过滤器）

确定每行最多返回多少列，并在遇到一定的列数超过我们锁设置的限制值的时候，结束扫描操作

ColumnPaginationFilter（列分页过滤器）

与PageFilter类似，列分页过滤器可以对一行的所有列进行分页。

ColumnPrefixFilter（列前缀过滤器）

类似PrefixFilter，列前缀过滤器通过对列名进行前缀匹配过滤

RandomRowFilter（随机行过滤器）

随机行过滤器可以让结果中包含随机行。

附加过滤器

SkipFilter（跳转过滤器）

与ValueFilter结合使用，如果发现一行中的某一列不符合条件，那么整行都会被过滤掉。

WhileMatchFilter（全匹配过滤器）

如果你想想要在遇到某种条件数据之前的数据时，就可以使用这个过滤器，当遇到不符合设定条件的数据的时候，整个扫描也结束了。

自定义过滤器

可以通过实现Filter接口或者直接竭诚FilterBase类来实现自定义过滤器。

转载于:https://my.oschina.net/penngo/blog/517228

weixin_34056162
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TimestampsFilterQuery.java
10-12
ilter：所有的过滤器都在服务端生效，以保证被过滤掉的数据不会被传送到客户端 •过滤器是在HBase服务器端上执行判断操作 •过滤器可以应用到行键（RowFilter），列限定符（QualifierFilter）或者数据值（ValueFilter） •过滤器允许对数据分页处理(PageFilter)，限制扫描器返回行数 •FilterList可以组合使用多个Filter
HBase通用过滤器
ZZJXP的博客
04-14 403
q
Hbase 过滤器详解
mxk4869的博客
07-05 4136
Hbase 过滤器详解
第三章 HBase Shell操作
m0_57382185的博客
04-03 2555
关于HBase的表操作和数据操作
HBase过滤器Filter总结
MY BLOG
06-13 3826
一、HBase的scan可通过setStartRow、setStopRow对rowkey范围进行过滤 二、HBase中的get、scan都支持过滤器，过滤器在服务端生效，这样可以保证被过滤掉的数据不会被传送到客户端，从而提高了代码运行的效率。 三、过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，hbase中过滤器分类： 1、RowFilter 说明：筛选出匹配的所有的行，支持基于行键过滤数据，可以执行精确匹配，子字符串匹配或正则表达式匹配，过滤掉不匹配的数据。 用法：使用Binary
habse安装和实践的简要操作
11-01
1111
java 连接远程hbase 数据库
07-11
该工程中包含了hbase 所以依赖的所有jar ,jar包存放在工程的lib 目录下，希望可以帮到你
hbase:habse自定义MR
05-16
hbase从HBase表中导入数据到Hbase表中将fruit表中的一部分数据，通过MR迁入到fruit_mr表中从HDFS中导入数据到Hbase表中根据HDFS中的数据导入到fruit_hdfs表中
Java操作Hbase进行建表、删表以及对数据进行增删改查
05-14
Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
hbase常识及habse适合什么场景
02-25
本文来自于csdn,当我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库？答案是什么，请看下文如果我们使用的传统数据库，肯定留有多余的字段，10个不行，20个，但是这个...
Hbase里的行键过滤器操作
m0_50911010的博客
10-26 906
1.行键过滤器 scan ‘Student’,FILTER=“RowFilter(=,‘substring:0001’)” substring不支持大于或小于运算符 scan ‘Student’,FILTER=>“RowFilter(>,‘binary:0001’)” binary 支持= 其他行键过滤器 ProfixFilter 行键前缀比较器 scan ‘Student’,FILTER=>“ProfixFilter(‘0001’)” 同 scan ‘Student’,FILTER=&g
在Hbase使用过滤器（行键过滤器、列族与列过滤器、值过滤器）
weixin_45890771的博客
12-01 1万+
本文介绍Hbase中的过滤器： 1、行键过滤器 2、列族与列过滤器 3、值过滤器 格式如下： scan'表名',{FILTER=>过滤器(比较运算符,'比较器')"} 一、行键过滤器 RowFilter可以配合比较器和运算符，实现行键字符串的比较和过滤 例如，匹配出行键中大于102的数据，可使用binary比较器；匹配以10开头的行键，可使用substring比较器，注意substring不支持大于或小于运算符。 首先创建本次需要用到的表，booksystem:bookinf
HBase学习之路(六)：理解并使用专用过滤器和附加过滤器(非常详细)
萧邦主的城邦
08-01 863
内容简介一、专用过滤器0.专用过滤器基本概念1.单列值过滤器2.单列排除过滤器3.前缀过滤器4.分页过滤器5.行键过滤器6.首次行键过滤器7.包含结束过滤器8.时间戳过滤器二、附加过滤器0.附加过滤器基本概念1.跳转过滤器2.全匹配过滤器三、总结 一、专用过滤器 0.专用过滤器基本概念 在一文中已经介绍了HBase中过滤器的基本概念了，并且详细介绍HBase的第一类过滤器，比较过滤器，这一类过滤...
HBase_HBase2.0 Java API 操作指南 (四) 过滤器 Filter
迎难而上
04-23 1092
在上一篇文章，我们讲解了 Hbase 中的扫描器，这篇文章，我们讲解下过滤器。 过滤器可以对扫描的数据进行一定程度的过滤，当然这个流程是在服务器端进行执行的。过滤器最基本的接口为 Filter, 除此之外，还有一些由HBase 提供的无需编程就可以直接使用的类。 Filter 执行流程 所有的过滤器都在服务端生效，叫做谓词下推。这样可以保证过滤掉的数据不会传送到客户端。 ...
HBase shell scan 模糊查询
热门推荐
power0405hf的专栏
11-13 8万+
0.进入hbase shell ./hbase shell help help “get” #查看单独的某个命令的帮助 1. 一般命令 status 查看状态 version 查看版本 2.DDL（数据定义语言Data Definition Language）命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’ 如：create 'member','
HBase入门：查询中常用的Filter总结
快跑专栏
05-17 1291
简介： 根据技术调研的过程可以明显的体会到hbase的存储方式和数据库的存储有着明显的区别，查询的方式也有着很大不同，HBase主要是通过这种filter来对数据进行筛选。同时对于数据的体量较大（10亿级别以上的数据数据量），检索和修改的场景较多时是比较适合使用hbase。 HBase过滤器可以根据分为：列簇与列类型过滤器，行键过滤器，其他过滤器 HBase Filter 概览 查询hbase支持的filter 列表 hbase(main):015:0> show_fil...
大数据技术原理与应用
m0_54000719的博客
10-17 2090
自测题目
Hbase过滤器
heima201907的博客
11-28 214
中主要的数据读取函数是get()和scan()，它们都支持直接访问数据和通过指定起止行键访问数据的功能。我们可以在查询中添加更多的限制条件来减少查询得到的数据量，这些限制可以是指定列族、列、时间戳以及版本号。这些方法可以帮助我们控制哪些数据在查询时被包含其中，但是它们缺少一些细粒度的筛选功能，比如基于正则表达式对行键或是值进行筛选。Get和Scan两个类都支持过滤器，理由如下：这类对象提供的基本A...
HBase中我认为比较常用的两个类：Scan和Filter
weixin_30929011的博客
04-01 213
学习HBase一段时间后，我认为HBase中比较常用，同时也是必须掌握的两个API是Scan和Filter。如下是我的理解： 1.Scan ---- 扫描类 作用：用来对一个指定Table进行按行扫描，从而得到属于[起始行健，终止行健)的扫描结果 使用场合：单纯的扫描用途；用于MapReduce计算的输入 2.Filter --- 过滤类 作用：用来提前在Server...
利用flink从kafka消费json数据并写入habse怎么操作？
最新发布
03-31
```java Properties kafkaProps = new Properties(); kafkaProps.setProperty("bootstrap.servers", "localhost:9092"); kafkaProps.setProperty("group.id", "flink-group"); FlinkKafkaConsumer<String> kafka...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值