HBase常用工具

最新推荐文章于 2024-08-11 03:11:19 发布

原创

最新推荐文章于 2024-08-11 03:11:19 发布 · 2.5k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #运维 #大数据 #hadoop #hdfs

本文详细介绍HBase集群运维中常用的工具，包括HBCK、HFile、RowCounter、CellCounter、OfflineMetaRepair、Export和Import。这些工具分别用于检查和修复集群上region的一致性、检查HFile内容、统计表行数、修复元数据、数据的导出与导入等，为HBase的高效管理和数据处理提供了有力支持。

Background

hbase集群是基于CDH搭建的，版本2.1.0+cdh6.2.0

1、HBCK

hbck是HBase最基本运维工具。
作用：检查集群上region的一致性。根据检查结果使用相应的命令进行修复。
注意：部分命令在HBase version 2.0+已经不支持了。

在这里插入图片描述
使用示例：

# 查看表cloudansys:gps的region状态
hbase hbck 'cloudansys:gps'

2、HFile

作用：检查当前某个具体的HFile的内容/元数据。当业务上发现某个region无法读取，在regionserver上由于文件问题无法打开region或者读取某个文件出现异常时，可用此工具单独来检查HFile是否有问题。

usage: HFile [-a] [-b] [-e] [-f <arg> | -r <arg>] [-h] [-i] [-k] [-m] [-p]
       [-s] [-v] [-w <arg>]
 -a,--checkfamily         Enable family check
 -b,--printblocks         Print block index meta data
 -e,--printkey            Print keys
 -f,--file <arg>          File to scan. Pass full-path; e.g.
                          hdfs://a:9000/hbase/hbase:meta/12/34
 -h,--printblockheaders   Print block headers for each block.
 -i,--checkMobIntegrity   Print all cells whose mob files are missing
 -k,--checkrow            Enable row order check; looks for out-of-order
                          keys
 -m,--printmeta           Print meta data of file
 -p,--printkv             Print key/value pairs
 -r,--region