hbase java 分页查询_HBase伪快速分页查询

之前有两个功能，都是查询历史数据的一个分页查询，系统刚上线的时候，没有太多的数据，就一直扔在mysql里面，后来里面数据上亿之后，就查不到了，而且数据还在以指数级增长方式上报，后来，这部分业务单独迁移到hbase集群去存放，之前页面的查询也改查hbase了。但是hbase对分页查询这种东西支持不好，如果按照以往查询mysql的思路，查询出一个总的count,再查询出这一页的数据，这种方式去查询hbase,那么如果你仔细去跟代码计算时间的话，你会发现hbase去查count,无论哪种方式，都会引起全表扫描，是非常慢的。整个页面加载出来，看了下响应事件，大概要45s,等的我都喝了两杯茶了。

so,我想了个比较伪的分页查询方法，去掉查询count操作，值查询一页数据：

public Page findBatterHisData(BatteryHisDto dto)throws Exception {

Page dataPage=new Page();

List dataList=new ArrayList<>();

int totalSize=0;

Table table=runner.getTable(tableName);

Scan dataScan=new Scan();

ResultScanner dataScanner=null;

List dataFilters = new ArrayList();

if(StringUtils.isNotBlank(dto.getBatteryNo())){//电池组编号过滤

Filter filter=new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator(dto.getBatteryNo()+"_"));

dataFilters.add(filter);

}

Filter pageFilter=new PageFilter(dto.getPage()+dto.getPageSize());

dataFilters.add(pageFilter);

FilterList dataFilterList = new FilterList(FilterList.Operator.MUST_PASS_ALL, dataFilters);

dataScan.setFilter(dataFilterList);

dataScanner=table.getScanner(dataScan);

dataList= rsh.handle(tableName,dataScanner);

if(dataList==null || dataList.size()<1){

dataPage.setTotalCount(0);

dataPage.setResult(null);

return dataPage;

}

int startNo = dto.getPage();

int endNo=startNo+dto.getPageSize();

dataPage.setTotalCount(dto.getPage()+dto.getPageSize()+1);

dataPage.setResult(dataList.subList(startNo,endNo));

table.close();

return dataPage;

}

因为用户关注的，通常是前几页的数据，所有我每次查询的时候，返回总页数，都返回个随便的数(跟前端的分页表格配合，实际上，我的前端只提供了上下分页，哈哈)，然后查询有限条的数据，通常hbase表都是上亿甚至是百亿的，所以，用户时不太可能通过只点击上一页下一页，这样点到我最后一页的，可以放心了。最多他点个几千页，也就手疼到不行了。这样下来，响应速度控制在800ms内，无压力。

PS，看到很多网友通过rowkey去做分页，具体思路是，每次记录下起始的rowkey和结束的rowkey,然后根据rowkey搜索，这样也是很快的，个人认为，也ok。