关于HBase MVCC的设计原理以及MVCC所引起的一个scan问题

最新推荐文章于 2024-06-29 14:25:48 发布

杨步涛的博客

最新推荐文章于 2024-06-29 14:25:48 发布

阅读量8k

点赞数 2

分类专栏： hbase 大数据 HBase存储文章标签： HBase MVCC

本文链接：https://blog.csdn.net/yangbutao/article/details/8998800

版权

本文探讨了HBase 0.94版本中出现的'HRegionInfo was null or empty in Meta'警告问题，该问题源于在扫描过程中，Meta表中的rowkey范围在服务端找不到对应数据。深入分析了HBase的MVCC机制，包括写数据的多个阶段、事务隔离和一致性控制。在MVCC流程中，getClosestRowBefore方法未进行MVCC控制，可能导致读取到未提交的数据，从而造成查询结果为空。

摘要由CSDN通过智能技术生成

最近在使用HBase0.94版本的时，偶尔会出现， HRegionInfo was null or empty in Meta 的警告

java.io.IOException: HRegionInfo was null or empty in Meta for writetest, row=lot_let,9399239430349923234234,99999999999999
at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:170)

在客户端的MetaScanner.metaScan实现中

metaTable = new HTable(configuration, HConstants.META_TABLE_NAME);

Result startRowResult = metaTable.getRowOrBefore(searchRow, HConstants.CATALOG_FAMILY);

if (startRowResult == null) { throw new TableNotFoundException("Cannot find row in .META. for table: " + Bytes.toString(tableName) + ", row=" + Bytes.toStringBinary(searchRow)); }
byte[] value = startRowResult.getValue(HConstants.CATALOG_FAMILY,
HConstants.REGIONINFO_QUALIFIER);
if (value == null || value.length == 0) { throw new IOException("HRegionInfo was null or empty in Meta for " + Bytes.toString(tableName) + ", row=" + Bytes.toStringBinary(searchRow)); }

可以发现在扫描MetaScanner,rowkey所在的范围在Meta 表中不存在；通过RPC定位到服务端的实现

HRegion中：

public Result getClosestRowBefore(final byte [] row, final byte [] family)

throws IOException {

if (coprocessorHost != null) {

Result result = new Result();

if (coprocessorHost.preGetClosestRowBefore(row, family, result)) {

return result;

}

// look across all the HStores for this region and determine what the

// closest key is across all column families, since the data may be sparse

checkRow(row, "g