理解HBase zookeeper和-Root-/.MET表

最新推荐文章于 2024-05-28 22:54:24 发布
最新推荐文章于 2024-05-28 22:54:24 发布
阅读量8.5k 收藏 4
点赞数 1
分类专栏： hbase

1 探究Zookeeper

   安装过HBase的开发者一定知道，HBase本身就嵌入了Zookeeper，你可以选择安装嵌入的Zookeeper，也可以安装一个分布式的Zookeeper集群。具体的安装步骤，可以到我的博客里查找。

   我们可以手工与Zookeeper交互的方式就是使用HBaseshell命令。使用zk_dump来查看HBase的安装等信息。

[plain]  view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <span style="font-size:18px;">   hbase(main):002:0>zk_dump  
  2.    HBaseis rooted at /hbase  
  3. Active master address:hadoop-master,60000,1390921674646  
  4. Backup master addresses:  
  5. Region server holding ROOT:machine-0,60020,1390921686697  
  6. Region servers:  
  7.  machine-1,60020,1390921690387  
  8.  machine-2,60020,1390921767658  
  9.  machine-0,60020,1390921686697  
  10. Quorum Server Statistics:  
  11.  machine-1:2222  
  12.  Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT  
  13.  Clients:  
  14.   /192.168.177.158:55294[1](queued=0,recved=121,sent=135)  
  15.   /192.168.177.172:54763[0](queued=0,recved=1,sent=0)  
  16.   /192.168.177.168:59896[1](queued=0,recved=48,sent=48)  
  17.   /192.168.177.158:55299[1](queued=0,recved=47,sent=47)  
  18.    
  19.  Latency min/avg/max: 0/2/42  
  20.  Received: 217  
  21.  Sent: 230  
  22.  Connections: 4  
  23.   Outstanding:0  
  24.  Zxid: 0x3300000047  
  25.  Mode: follower  
  26.  Node count: 29  
  27.  machine-0:2222  
  28.  Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT  
  29.  Clients:  
  30.   /192.168.177.172:38860[1](queued=0,recved=75,sent=77)  
  31.   /192.168.177.172:38855[1](queued=0,recved=322,sent=369)  
  32.   /192.168.177.167:52643[1](queued=0,recved=78,sent=90)  
  33.   /192.168.177.172:38900[0](queued=0,recved=1,sent=0)  
  34.    
  35.  Latency min/avg/max: 0/2/291  
  36.  Received: 476  
  37.  Sent: 536  
  38.  Connections: 4  
  39.  Outstanding: 0  
  40.  Zxid: 0x3300000047  
  41.  Mode: follower  
  42.  Node count: 29  
  43.  machine-2:2222  
  44.  Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT  
  45.  Clients:  
  46.   /192.168.177.172:45693[0](queued=0,recved=1,sent=0)  
  47.   /192.168.177.172:45687[1](queued=0,recved=13,sent=13)  
  48.   /192.168.177.167:36053[1](queued=0,recved=43,sent=43)  
  49.    
  50.  Latency min/avg/max: 0/0/21  
  51.  Received: 57  
  52.  Sent: 56  
  53.  Connections: 3  
  54.  Outstanding: 0  
  55.  Zxid: 0x3300000047  
  56.  Mode: leader  
  57.  Node count: 29</span>  

 

根据显示的信息，我们可以查阅到HDFS中的HBase根路径，激活的主机地址域名和端口，root表的主机地址和端口。

[plain]  view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <span style="font-size:18px;">HBase is rooted at /hbase  
  2. Active master address:hadoop-master,60000,1390921674646  
  3. Backup master addresses:  
  4. Region server holding ROOT:machine-0,60020,1390921686697</span>  

区域服务器地址信息

[plain]  view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <span style="font-size:18px;">Region servers:  
  2.  machine-1,60020,1390921690387  
  3.  machine-2,60020,1390921767658  
  4.  machine-0,60020,1390921686697</span>  

   Zookeeper法定服务器的统计信息，当前的法定服务名称以及Zookeeper版本信息，客户端信息等

[plain]  view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <span style="font-size:18px;">Quorum Server Statistics:  
  2.  machine-1:2222  
  3.  Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT  
  4.  Clients:  
  5.   /192.168.177.158:55294[1](queued=0,recved=121,sent=135)  
  6.   /192.168.177.172:54763[0](queued=0,recved=1,sent=0)  
  7.   /192.168.177.168:59896[1](queued=0,recved=48,sent=48)  
  8.   /192.168.177.158:55299[1](queued=0,recved=47,sent=47)  
  9.  Latency min/avg/max: 0/2/291  
  10.  Received: 476  
  11.  Sent: 536  
  12.  Connections: 4  
  13.  Outstanding: 0  
  14.  Zxid: 0x3300000047  
  15.  Mode: follower  
  16.  Node count: 29  
  17.  machine-2:2222  
  18.  Zookeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT  
  19.  Clients:  
  20.   /192.168.177.172:45693[0](queued=0,recved=1,sent=0)  
  21.   /192.168.177.172:45687[1](queued=0,recved=13,sent=13)  
  22.   /192.168.177.167:36053[1](queued=0,recved=43,sent=43)  
  23.   
  24.  Latency min/avg/max: 0/0/21  
  25.  Received: 57  
  26.  Sent: 56  
  27.  Connections: 3  
  28.  Outstanding: 0  
  29.  Zxid: 0x3300000047  
  30.  Mode: leader  
  31.  Node count: 29</span>  

     当我们尝试去理解系统当前的状态时，这些信息显得尤为重要。那些主机加入到集群中了，那个主机扮演什么角色。更重要的是，个主机充当HBase的-root-表服务。HBase客户端需要这些信息来实现读写操作，而Zookeeper正好可以提供这些信息。

     客户端能够制动化地与Zookeeper进行操作交流以及找到区域服务器

（RegisionServer）。为了更好的理解这些信息，我们将探究一下HBase中两个特殊的表-root-和.meta.。

2 探究-ROOT-表


   扫描-root-表，查看具体的信息。


从输出的信息可以知道，-root-表包含.meta.表信息。-root-表中仅有一行数据，并且所有的信息是关于region, 这就意味着，整个系统由-root-表管理。这我目前的实例中，一个单一的.meta.表中的region能够包含所有信息。从-root-表中，我们可以知道有4列(regioninfo, server,serverstartcode, v.)数据，.meta.的数据在RegionServer 服务机的machine-0上。由于只有一个region，regioninfo字段中的开始字段startkey和结束字段endkey都为空。

3 探究.META.表

        从上一节中，我们知道，regioninfo中包含region的名称，开始关键字startkey，结束关键字endkey，编码过的名称（编码过的名称是系统内部使用的）。如果.meta.表中没有表单定义，会有下列的显示：

hbase(main):030:0> scan '.META.'

ROW COLUMN+CELL

0 row(s) in 5.4180 seconds

 

一旦有表定义在HBase中，呈现效果会是这样：

[plain]  view plain copy print ? 在CODE上查看代码片 派生到我的代码片
  1. <span style="font-size:18px;">hbase(main):012:0>scan '.META.'  
  2. ROW                           COLUMN+CELL                                                                          
  3.  car,,1389254794373.41b48a453column=info:regioninfo, timestamp=1389254795518, value={NAME =>'car,,1389254794373.  
  4.  79036ed6a28620f95bc3e73.     41b48a45379036ed6a28620f95bc3e73.',STARTKEY => '', ENDKEY => '', ENCODED => 41b48a4  
  5.                              5379036ed6a28620f95bc3e73,}                                                           
  6.  car,,1389254794373.41b48a453column=info:server, timestamp=1390982716032, value=machine-1:60020                   
  7.  79036ed6a28620f95bc3e73.                                                                                          
  8.  car,,1389254794373.41b48a453column=info:serverstartcode, timestamp=1390982716032, value=1390982688688            
  9.  79036ed6a28620f95bc3e73.                                                                                          
  10.  pentaho_mappings,,1389456264column=info:regioninfo, timestamp=1389456267362, value={NAME =>'pentaho_mappings,,1  
  11.  784.1fa2cc86c50ced5fa39630da389456264784.1fa2cc86c50ced5fa39630dae76fb1a2.', STARTKEY => '', ENDKEY=> '', ENCOD  
  12.  e76fb1a2.                    ED =>1fa2cc86c50ced5fa39630dae76fb1a2,}                                             
  13.  pentaho_mappings,,1389456264column=info:server, timestamp=1390982716247, value=machine-0:60020                   
  14.  784.1fa2cc86c50ced5fa39630da                                                                                      
  15.  e76fb1a2.                                                                                                         
  16.  pentaho_mappings,,1389456264column=info:serverstartcode, timestamp=1390982716247, value=1390982687824             
  17.  784.1fa2cc86c50ced5fa39630da                                                                                      
  18.  e76fb1a2.                                                                                                         
  19.  users,,1389925800801.6a5a2b0column=info:regioninfo, timestamp=1389925809127, value={NAME =>'users,,138992580080  
  20.  170dfd0e19df13849706ec035.   1.6a5a2b0170dfd0e19df13849706ec035.',STARTKEY => '', ENDKEY => '', ENCODED => 6a5a2  
  21.                               b0170dfd0e19df13849706ec035,}                                                        
  22.  users,,1389925800801.6a5a2b0column=info:server, timestamp=1390982718429, value=machine-1:60020                   
  23.  170dfd0e19df13849706ec035.                                                                                         
  24.  users,,1389925800801.6a5a2b0column=info:serverstartcode, timestamp=1390982718429, value=1390982688688            
  25.  170dfd0e19df13849706ec035.                                                                                        
  26.  weblogs,,1389255303284.d2973column=info:regioninfo, timestamp=1389255304879, value={NAME =>'weblogs,,1389255303  
  27.  dcc1b1ff64cc56a197fdd83ec5e.284.d2973dcc1b1ff64cc56a197fdd83ec5e.', STARTKEY => '', ENDKEY => '',ENCODED => d29  
  28.                              73dcc1b1ff64cc56a197fdd83ec5e,}                                                      
  29.  weblogs,,1389255303284.d2973column=info:server, timestamp=1390982716256, value=machine-0:60020                   
  30.  dcc1b1ff64cc56a197fdd83ec5e.                                                                                      
  31.  weblogs,,1389255303284.d2973column=info:serverstartcode, timestamp=1390982716256, value=1390982687824            
  32.  dcc1b1ff64cc56a197fdd83ec5e.                                                                                       
  33. 4 row(s) in0.3280 seconds</span>  

 

  正如你看到的，.META.包含的是表的信息，这里就不详述了。看下列这个结构图便可以理解HBase中这两个表的关系。

  


   doc版本的内容，请点击探究HBase系统.docx

驰驰的老爸
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop+HBase+ZooKeeper三者关系与安装配置
julyfire的专栏
09-27 2357
http://blog.sina.com.cn/s/blog_5c5d5cdf0101dvgq.html 这里有几个主要关系： 1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了，但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时，这两个文件存储到了HDFS的DataNode中，HDFS才是永久存储。
Hbase与Zookeeper的关系
sinat_29480069的博客
06-08 4325
Hbase Hbase中包含3个主要组件：客户端库、一台主服务器、多台region服务器。 Zookeeper Zookeeper是一个可靠的、高可用的、持久化的分布式协调系统。它提供了类似文件系统一样的访问目录和文件的功能，通常分布式系系统利用它协调所有权、注册服务、监听更新。 每台region服务器在Zookeeper中注册一个自己的临时节点，主服务器会利用这些临时节点来发...
HBase分布式数据库入门到精通
最新发布
Lansonli（蓝深李）的博客
05-28 1421
HBase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式 NOSQL 数据库。当你需要随机、实时读/写访问大数据时，请使用 Apache HBase。
HBase与Zookeeper的关系
爱是与世界平行
10-28 2864
HBase与Zookeeper的关系一、HBase与Zookeeper的关系ZookeeperClientMasterRegionServer 一、HBase与Zookeeper的关系 Client客户端、Master、Region都会通过心跳机制（RPC通信）与zookeeper保持联系。 当在Hbase中插入或读取数据时流程如下： 在Client中写一个Java类运行，客户端只需要连接zoo...
hbase与zookeeper的关系
weixin_42291112的博客
12-26 2878
hbase regionserver 向zookeeper注册，告诉zookeeper自己的状态信息（是否在线），hmaster启动时候将系统表加载到zookeeper集群上，通过zookeeper可以获取当前表的信息，两者之间互相通信，zookeeper作为hbase的集群协调器，协调处理好hbase的活动。zookeeper主要有以下几个作用： 1配置管理： 可对所有的分布式机器通过简单的操作...
HBase 与 ZooKeeper 的关系
初阳
05-19 7058
HBase在ZooKeeper中创建的主要子节点 meta-region-server：存储HBase集群hbase:meta元数据表所在的RegionServer访问地址。客户端读写数据首先会从此节点读取hbase:meta元数据的访问地址，将部分元数据加载到本地，根据元数据进行数据路由。 rs：集群中所有运行的RegionServer。 master：backup-masters： 通常...
hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包
07-14
3. **配置HBase**：编辑`conf/hbase-site.xml`，设置HBase的主配置，如`hbase.rootdir`（HDFS中的HBase目录）和`hbase.zookeeper.quorum`（Zookeeper集群地址）。 4. **启动与停止**：使用`start-hbase.sh`启动HBase...
hbase-1.2.1-bin.tar.gz.zip
11-06
总之，HBase-1.2.1的二进制压缩包提供了在Hadoop环境下部署和运行HBase所需的所有组件，适用于处理大量非结构化或半结构化数据的场景，如实时分析、日志处理、物联网应用等。正确解压并配置后，用户可以充分利用...
hbase-2.4.11-bin.tar.gz
04-19
3. **配置文件**：修改conf/hbase-site.xml配置文件，设置HBase的主节点（master）地址、Zookeeper的地址以及HDFS的地址等。 4. **启动服务**：通过bin目录下的start-hbase.sh脚本启动HBase集群，包括Master节点和...
HBase（hbase-2.4.9-bin.tar.gz）
01-10
HBase（hbase-2.4.9-bin.tar.gz）是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System...
phoenix-hbase-2.2-5.1.2-bin.tar.gz
05-07
总的来说，`phoenix-hbase-2.2-5.1.2-bin.tar.gz`是大数据存储和分析领域的重要工具，它结合了HBase的分布式存储能力和Phoenix的SQL查询能力，为大数据处理提供了一种高效、易用的解决方案。无论是对大数据新手还是...
【Big Data 每日一题20180815】 HBase 与 zookeeper 之间的关系？
tianyeshiye
08-14 483
Zookeeper主要管理Hadoop集群中的NameNode，HBase中HBaseMaster的选举，Servers之间状态同步等。具体一点，细一点说，单只HBase中ZooKeeper实例负责的工作就有：存储HBase的Schema，实时监控HRegionServer,存储所有Region的寻址入口，当然还有最常见的功能就是保证HBase集群中只有一个Master。 ...
zookeeper学习系列-与Hbase的关系（6）
weixin_34008933的博客
07-01 99
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase -ROOT-表和.META.表
人是有思想的芦苇
07-22 1623
官方文档：http://hbase.apache.org/book.html#arch.catalog
HBase中-ROOT-和.META.表
jiaotongqu6470的博客
10-14 620
-ROOT-和.META.表，它们是HBase的两张内置表，从存储结构和操作方法的角度来说，它们和其他HBase的表没有任何区别，你可以认为这就是两张普通的表，对于普通表的操作对它们都适用。它们与众不同的地方是HBase用它们来存贮一个重要的系统信息——Region的分布情况以及每个Region的详细信息。
HBase -ROOT-和.META.表结构
张勤一
11-24 1342
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘
HBase原理详解【Master、Region Server内部机制、Zookeeper、读写数据流程、hbase:meta表】
zp的博客
04-18 3673
一、HBASE运行原理 组件结构图 二、各组件的职责 2.1 MASTER职责 1、管理HRegionServer，实现其负载均衡。 2、管理和分配HRegion，比如在HRegion split时分配新的HRegion；在HRegion Server退出时迁移其负责的HRegion到其他HRegionServer上。 3、Admin职能：创建、删除、修改Table的定...
hbase元数据恢复（meta表）
编程之路
01-15 3927
meta表一直in transition，master起不来，日志中报错： zookeeper.MetaTableLocator: Failed verification of hbase:meta 解决方法如下： 1.删除zookeeper信息 rmr /hbase-unsecure 2.保存hbase数据 hadoop fs -mv /apps/hbase/dat
running regionserver, logging to /usr/local/hbase-1.7.1/bin/../logs/hbase-root-regionserver-slave2.out
11-24
hbase-daemon.sh start regionserver --config /path/to/hbase/conf --logfile /usr/local/hbase-1.7.1/bin/../logs/hbase-root-regionserver-slave2.out ``` 请确保已经正确配置了HBase，并且已经启动了HBase集群中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值