Hbase中查找数据一般包括两种方式:
1) Get方式,通过Rowkey进行查询。都是获取一条数据。
2)是通过Scan进行全表查询,可以设置一些过滤条件,返回一批数据。
Scan查询的方式:
- scan 可以通过setCaching 与setBatch 方法提高速度(以空间换时间);
- scan 可以通过setStartRow 与setEndRow 来限定范围([start,end),start 是闭区间,end 是开区间)。范围越小,性能越高。
- scan 可以通过setFilter 方法添加过滤器,这也是分页、多条件查询的基础。
Scan方式查询的数据并不是一次全部返回的,是经过多次返回。在客户端中的Scan代码,使用for循环遍历ResultScanner对象获取数据,每一次都会调用一次next请求,如果在客户端中有未读取的数据就返回数据,如果客户端中没有数据,next将从服务器端获取数据,每次默认是100行数据(hbase 0.98)。
如果想要控制每次next请求获取的数据的量,可以使用以下的参数进行控制:
.setCaching => .setNumberOfRowsFetchSize
(客户端每次 rpc fetch 的行数).setBatch => .setColumnsChunkSize
(客户端每次获取的列数).setMaxResultSize => .setMaxResultByteSize
(客户端缓存的最大字节数)
Scan的查询
1、通过Hbase shell中查询得知,可以使用的Scan中的命令有:
TIMERANGE, FILTER, LIMIT, STARTROW, STOPROW, ROWPREFIXFILTER,
TIMESTAMP,MAXLENGTH, COLUMNS, CACHE, RAW, VERSIONS,
ALL_METRICS, METRICS,REGION_REPLICA_ID, ISOLATION_LEVEL,
READ_TYPE, ALLOW_PARTIAL_RESULTS, BATCH or MAX_RESULT_SIZE
Scan中的有Filter过滤器,通过过滤器进行查询。
Java 查询
java查询可以通过HBase API 实现简单的增删查改等功能,但是这些api提供的功能过于简单,不能实现想MySQL数据库一样的按照条件进行查询。
HBase的Filter的过滤器提供了更加强大的功能,能够使得HBase能够根据条件进行过滤查询。
过滤器的参数
过滤器可以通过数据的行键、列组、列、版本号等,通过这些可以高效的完成查询任务。
使用过滤器的时候,至少需要两个参数:
1)第一个参数是对数据的比较,比如大于、等于、小于等等比较
2)第二个参数是指将数据以什么样的类型进行比较,例如说是以bit类型还是String类型进行比较。
过滤器至少需要两种参数:
1) 抽象的操作符,HBase中提供了枚举类型表示这种抽象符(CompareFilter.CompareOp
包下的)。HBase的过滤器比较运算符:
LESS <
LESS_OR_EQUAL <=
EQUAL =
NOT_EQUAL <>
GREATER_OR_EQUAL >=
GREATER >
NO_OP 排除所有
- HBase过滤的比较器(指定比价机制)
BinaryComparator 按字节索引顺序比较指定字节数组,采用Bytes.compareTo(byte