查看HBase表在HDFS中的文件结构

最新推荐文章于 2022-02-25 23:57:00 发布
最新推荐文章于 2022-02-25 23:57:00 发布
阅读量3.3k 收藏
点赞数
分类专栏： hadoop 文章标签： hbase 结构 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuxiaoquan824212/article/details/52463664
版权

查看HBase表在HDFS中的文件结构
在HBASE中建立一张表结构如下:

Table description代码  收藏代码
{NAME => 'USER_TEST_TABLE',   
MEMSTORE_FLUSHSIZE => '67108864',   
MAX_FILESIZE => '1073741824',   
FAMILIES => [  
{NAME => 'info', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',   
COMPRESSION => 'NONE', VERSIONS => '1', TTL => '2147483647',   
BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'  
},   
{NAME => 'info2', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0',   
COMPRESSION => 'NONE', VERSIONS => '1', TTL => '2147483647',   
BLOCKSIZE => '65536', IN_MEMORY => 'false', BLOCKCACHE => 'true'  
}  
]  
}

结构图如下, 往下表插入测试数据, 下面查看此表在HDFS中文件的存储方式.
这里写图片描述
由于在HBase服务器配置文件中指定的存储HBase文件的HDFS地址为:

hdfs://HADOOPCLUS01:端口/hbase

登录到namenode服务器,这里为HADOOPCLUS01, 用hadoop命令查看hbase在hdfs中此表的文件.
1.查看Hbase根目录. 

[hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls hadoop fs -ls /hbase  
Found 37 items  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-27 09:29 /hbase/-ROOT-  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-27 09:29 /hbase/.META.  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-26 13:15 /hbase/.corrupt  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-27 09:48 /hbase/.logs  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-30 17:49 /hbase/.oldlogs  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-30 17:49 /hbase/splitlog  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-30 17:49 /hbase/USER_TEST_TABLE

可以看到所有表的信息. 在hdfs中的建立的目录. 一个表对应一个目录.
-ROOT-表和.META.表也不例外, -ROOT-表和.META.表都有同样的表结构, 关于两表的表结构和怎么对应HBase整个环境的表的HRegion, 可以查看上篇转载的文章.
splitlog和.corrupt目录分别是log split进程用来存储中间split文件的和损坏的日志文件的。
.logs和.oldlogs目录为HLog的存储. .oldlogs为已经失效的HLog(Hlog对HBase数据库写Put已经全部完毕),
后面进行删除. HLog File 是一个Sequence File，HLog File 由一条条的
HLog.Entry构成。可以说Entry是HLog的基本组成部分，也是Read 和Write的基本单位。
Entry由两个部分组成：HLogKey和WALEdit。

2.查看建立表hdfs目录内容:

[hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE  
Found 2 items  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-28 10:18 /hbase/USER_TEST_TABLE/03d99a89a256f0e09d0222709b1d0cbe  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce

3.在查看其中一个HRegion的文件目录.

[hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce  
Found 4 items  
-rw-r--r--   3 hadoop cug-admin       1454 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/.regioninfo  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/.tmp  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info  
drwxr-xr-x   - hadoop cug-admin          0 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info2

4.再对.regioninfo文件用cat查看内容:
乱码已经过滤, 存储的信息整理:

[hadoop@HADOOPCLUS01 bin]$ hadoop fs -cat /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/.regioninfo  
USER_TEST_TABLE,AAA-AAA11110UC1,1364437081331.68b8ad74920040ba9f39141e908c67ce.  
AA-AAA11110UC1  
USER_TEST_TABLE  

IS_ROOT false  
IS_META false  
MAX_FILESIZE 1073741824  
MEMSTORE_FLUSHSIZ 6710886  

info  
BLOOMFILTER NONE   
REPLICATION_SCOPEVERSIONS 1  
COMPRESSION NONE  
TTL 2147483647  
BLOCKSIZE 65536    
IN_MEMORY false  
BLOCKCACHE true  

info2  
BLOOMFILTER NONE   
REPLICATION_SCOPEVERSIONS 1  
COMPRESSION NONE  
TTL 2147483647  
BLOCKSIZE 65536  
IN_MEMORY false  
BLOCKCACHE true  

REGION => {NAME => 'USER_TEST_TABLE,\x00\x00\x00\x0A\x00\x00\x00\x09AAA-AAA11110UC1\x00\x00\x00\x00,  
1364437081331.68b8ad74920040ba9f39141e908c67ce.',   
STARTKEY => '\x00\x00\x00\x0A\x00\x00\x00\x09AAA-AAA11110UC1\x00\x00\x00\x00',   
ENDKEY => '',   
ENCODED => 68b8ad74920040ba9f39141e908c67ce,   
TABLE => {{NAME => 'USER_TEST_TABLE', MAX_FILESIZE => '1073741824',   
MEMSTORE_FLUSHSIZE => '67108864',   
FAMILIES => [{NAME => 'info', BLOOMFILTER => 'NONE',   
REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE',   
TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',   
BLOCKCACHE => 'true'},   
{NAME => 'info2', BLOOMFILTER => 'NONE',   
REPLICATION_SCOPE => '0', VERSIONS => '1', COMPRESSION => 'NONE',   
TTL => '2147483647', BLOCKSIZE => '65536', IN_MEMORY => 'false',   
BLOCKCACHE => 'true'}]}}  
VT102VT102VT102VT102VT102VT102VT102VT102

5.查看info ColumnFamily中信息文件和目录:

[hadoop@HADOOPCLUS01 bin]$ hadoop fs -ls /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info  
Found 4 items  
-rw-r--r--   3 hadoop cug-admin  547290902 2013-03-28 10:18 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/4024386696476133625  
-rw-r--r--   3 hadoop cug-admin  115507832 2013-03-29 15:20 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/5184431447574744531  
-rw-r--r--   3 hadoop cug-admin  220368457 2013-03-29 15:13 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/6150330155463854827  
-rw-r--r--   3 hadoop cug-admin   24207459 2013-03-29 15:21 /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/7480382738108050697

6.查看具体保存HBase数据的HDFS文件信息:

Java代码  收藏代码
[hadoop@HADOOPCLUS01 bin]$ hadoop fs -cat /hbase/USER_TEST_TABLE/68b8ad74920040ba9f39141e908c67ce/info/4024386696476133625  
AA-AAA11110UDFinfoChangeType=2 13560596974000  
AA-AAA11110UDFinfoCountry=1 13560596974000  
AA-AAA11110UDFinfoUpdateTime=13560596974105 13560596974000  

AA-AAA11110UDGinfoChangeType=2 13560596974000  
AA-AAA11110UDGinfoCountry=1 13560596974000  
AA-AAA11110UDGinfoUpdateTime=13560334347205 13560596974000  

AA-AAA11110UDHinfoChangeType=2 13560596974000  
AA-AAA11110UDHinfoCountry=1 13560596974000  
AA-AAA11110UDHinfoUpdateTime=13560281517235 13560596974000

即是上面图片中插入的其中一部分数据. 在HBase中存储时, 对于每个Qualifer有如下5个属性RowKey,
ColumnFamily, Qualifer, TimeStamp, Value. Java代码 收藏代码
AA-AAA11110UDFinfoCountry=1 13560596974000 # AA-AAA11110UDH
部分对应RowKey; # info对应了ColumnFamily; # Country对应Qualifer; #
1对用Value; # 13560596974000对应TimeStamp.
后面将分析RowKey与AA-AAA11110UDH的对应关系.

7.使用HTTP查看文件:
在上面命令中, 也可以有Http查看Hdfs中的文件, 配置在hdfs-site.xml下面配置:

Xml代码  收藏代码
<property>  
<name>dfs.datanode.http.address</name>  
<value>0.0.0.0:62075</value>  
</property>
吴小全
关注
专栏目录
hbase查看表结构_HBase语法
weixin_39675728的博客
11-23 9040
一、HBase的DDL语法1. help①help ：查看所有的hbase的shell命令②help 'cmd'：寻求指定命令的使用方法 e.g. help 'create_namespace'hbase(main):012:0> help 'create_namespace'Create namespace; pass namespace name,and opt...
hbase查看表结构_HBase
weixin_39950010的博客
11-23 3511
HBase 是一种分布式、可扩展、支持海量数据存储的NoSQL 数据库。逻辑结构物理存储结构数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。HBase的底层物理存储结构(K-V)。Name Space命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase 有两个自带的命名空间，分别是 hbase和 defaul...
HBase 的表结构
weixin_33943836的博客
01-07 241
HBase 的表结构 2016-10-13 杜亦舒 HBase 是一个NoSQL数据库，用于处理海量数据，可以支持10亿行百万列的大表，下面就了解一下数据是如何存放在HBase表中的 关系型数据库的表结构 为了更好的理解HBase表的思路，先回顾一下关系数据库中表的处理方式 例如有一个用户表user_info，有字段：id、name、tel，表名和字段需要在建表时指定 create ta...
hbase的表结构
844604778
08-26 134
说明： 1.不像关系型数据库，hbase不是二维表而是多位表，同时是列式存储； 待续。。。。。
HBASE的优化、hadoop通用优化，Linux优化，zookeeper优化，基础优化
dci75702的博客
03-15 238
HBase 的优化3.1、高可用在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 Hmaster 的高可用配置。1) 关闭 HBase 集群（如果没有开启则跳过此步） $ bin/...
操作HBase的方式、HBase Shell的常用基本操作、hbase在hdfs上的数据存储位置、hbase中的regions(分区)、hbase中的数据存放顺序...
赤兔胭脂小吕布的博客
02-25 817
目录操作HBase的方式HBase shell 的常用基本操作创建表查看所有表查看所有的命名空间(类似 show databases )创建命名空间(类似 create database )查看命名空间下的表删除表向表中插入数据查询表中数据修改表中数据帮助命令查看表结构删除表中数据清空表删除指定的列族增加新的列族扫描所有数据统计表中数据量查看表是否存在手动切分表来生成多个regionshbase...
java hdfs导入hbase_MapReduce将HDFS文本数据导入HBase中
weixin_39569051的博客
02-26 547
HBase本身提供了很多种数据导入的方式，通常有两种常用方式：使用HBase提供的TableOutputFormat，原理是通过一个Mapreduce作业将数据导入HBase另一种方式就是使用HBase原生Client API本文就是示范如何通过MapReduce作业从一个文件读取数据并写入到HBase中。首先启动Hadoop与HBase，然后创建一个空表，用于后面导入数据：hbase(main)...
HBase的表结构
01-27
在深入探讨HBase的表结构之前，我们先回顾一下关系型数据库(RDBMS)的表结构。关系数据库采用二维表格的形式存储数据，其中每个表由行和列组成，每个列有固定的数据类型，并且在创建表时必须预先定义。例如，创建一个...
hdfs，hbase命令原理介绍
11-23
1. **小文件存储**：对于非常小的文件（小于 HDFS 默认的 block 大小，默认为 128MB），HDFS 不是最优选择，因为每个文件的元数据都需要存储在 NameNode 的内存中，这会占用大量资源。 2. **并发写入和随机修改限制*...
表结构查询命令
03-18
表结构、视图结构查询命令，通过这个命令可以进行扩展，如生成对象属性批量赋值的命令
hbase查看表结构_HBase基本使用之DDL学习
weixin_39620653的博客
11-21 404
先将服务启动hbase自带了shell命令行，我们使用下在hbase目录下执行bin/hbase有很多说明进入客户端bin/hbase shell有个提示：如果shell要删除命令，需要按住ctrl+backspace键查看帮助信息helpstatus: 提供HBase的状态，例如，服务器的数量statusversion: 提供正在使用HBase版本Versionwhoami: 提供有关用户的信息...
HBASE HFILE命令用法(查看hdfs上hbase文件的内容)
Ramelon的博客
11-23 1535
[ramelon@hadoop101 ~]$ hbase hfile usage: hfile [-a] [-b] [-e] [-f <arg> | -r <arg>] [-h] [-i] [-k] [-m] [-p] [-s] [-v] [-w <arg>] -a,--checkfamily Enable family check -b,--printblocks Print block index meta data
hbase表结构模型
zychun1991的博客
07-11 1187
hbase 表结构模式、表属性、预分区设计原则
第6章 大数据HBase&MR集成官方案例
weixin_39868387的博客
01-24 408
上篇：第6章 HBase API操作（一） 首先，需要做的准备环境配置： 先进入到hadoop的配置文件下的hadoop-en.sh文件添加参数 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/hadoop/module/hbase-1.3.1/lib/* 添加参数如图所示： 配置完毕之后，我们需要关闭hadoop的所有的服务，重新...
HBase的安装部署与学习
Sartin的博客
06-11 654
文章目录标题HBase简介Hive与HBase的比较Hbase 特点HBase架构Zookeeper的部署1、下载上传2、解压3、修改配置文件4、创建文件夹5、将配置好的zookeeper传给slave1，slave26、配置myid7、启动zookeeperDebug：8、查看jps9、查看机子的状态HBase的部署1、下载上传2、解压3、配置环境变量4、修改配置文件5、将配置好的HBase传给slave1，slave26、在master上启动HBase7、查看jps8、查看 HBase 页面HMaste
hbase查看表结构_带你涨姿势，Hbase 概念原理扫盲 ！
weixin_40002611的博客
11-21 1137
加个“星标”，每天上午 09:25，干货推送！来源：https://www.cnblogs.com/bainianminguo/p/12110077.html作者：bainianminguo一、Hbase简介1、什么是HbaseHbase的原型是google的BigTable论文，收到了该论文思想的启发，目前作为hadoop的子项目来开发维护，用于支持结构化的数据存储。Hbase是一个高...
hadoop集群查看创建表结构
Z_linht的博客
05-18 2331
要查看hadoop上面表结构show create table XXXX表查询出来后，复制出来，去掉 WITH SERDEPROPERTIES ('field.delim'='|', 'serialization.format'='|')，同时把location的变成相对路径就可以了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值