hadoop hbase中的root表和meta 简述

最新推荐文章于 2023-02-04 16:33:48 发布
最新推荐文章于 2023-02-04 16:33:48 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： hbase 文章标签： hadoop hbase中的root表和meta 简述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengxianglei/article/details/100042321
版权
本文简述了Hadoop HBase中的ROOT表和META表的角色。ROOT表作为简表，主要存储META表的位置信息，而META表详细记录所有HRegion详情。此外，文章还探讨了HBase的HDFS目录结构、WAL日志、RegionServer的工作原理以及数据存储格式。
摘要由CSDN通过智能技术生成

hadoop hbase中的root表和meta 简述

在这里插入图片描述

在这里插入图片描述

总结
　　ROOT表可以看作是一张简表，简单的信息，记录不是很多，但ROOT表记录了META的信息。
　　META表可以看作是一张详表，记录了所有HRegion的信息。ROOT表也记录了HRegion表的信息，但没META表记录详细。

拓展：
HBase表的HDFS目录结构如下
/hbase
/data
/ (集群里的Namespaces)
/

(该集群的Tables)
/ (该table的Regions)
/ (该Region的列族)
/ (该列族的StoreFiles)

HLog的HDFS目录结构如下
/hbase
/WALs
/ (RegionServers)
/ (WAL files for the RegionServer)
在这里插入图片描述

一个RegionServer上存在多个Region和一个HLog读写实例。


HLog的就是WAL(Write-Ah

最低0.47元/天 解锁文章
zengxianglei
关注
专栏目录
Hbase Meta表基本介绍
JY_He的博客
04-01 7532
Hbase有一个叫做Meta的特殊的目录表，用于保存集群中regions的位置信息（region列表）。ZooKeeper存储着Meta表的位置。 Hbase Meta结构如下： 具体含义： rowKey:([table],[region start key],[region id]) column family：info column：regioninfo、server、se...
HBase -ROOT-和.META.表结构
张勤一
11-24 1357
在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘
HBase中的Client如何路由到正确的RegionServer
Make Progress Everyday!
04-13 2375
HBase中的Client如何路由到正确的RegionServerPosted onJuly 27, 2010byHarry_Ding<br />在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServe
Hbase“-ROOT-”表和“.META.”表
shen_ting的专栏
05-13 646
Hbase中两张特殊表：-ROOT- & .META. 客户端访问数据的流程： Client -> Zookeeper -> -ROOT- -> .META. -> 用户数据表 Zookeeper中记录了-ROOT-表的location -ROOT- 　  记录.META.表的Region信息，-ROOT-只有一个region，不能被分割。 -ROOT-表
-ROOT-表和.META.表结构详解
dbbaq24022的专栏
08-15 269
在《HBase技术简介》中我们知道，HBase中有两个特殊的表：-ROOT-和.META.。 由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示： 注意两点： Client端在访问数据的过程中并没有涉及到Master节点，也就是说HBase日常的数据操作...
Hadoop集群的搭建和配置
最新发布
BXMMJ的博客
02-04 1078
hadoop运行环境的搭建、配置文件的修改、ssh免密登录、完全分布式的搭建、分发脚本xsync编写、集群的群起关的脚本...
程序员简述大数据Hadoop常见问题
weixin_52276913的博客
11-27 777
近期有不少刚刚接触或者是刚参加大数据培训的小伙伴询问Hadoop常见问题有哪些，下面是简单整理的一些内容，现在分享给大家，希望对小伙伴们有所帮助。 1、现在企业中使用Hadoop版本主要是1.x还是2.x? 目前百度，腾讯，阿里为主的互联网公司都是以hadoop。 a.X为基准版本的，当然每个公司都会进行自定义的二次开发以满足不同的集群需求。 b.X在百度内部还没有正式使用，还是以1.X为主，不过百度针对1.X的问题开发了HCE系统(HadoopC++Expand系统)。 补充：Hadoop2.x在其他公司
HBase详解（对hbase集群搭建、读写流程、hbase的javaApi等细致入微的讲解与保姆级的图解）
wudidahuanggua的博客
09-24 3465
细致入微的图文讲解，看了这篇文章你很难学不懂hbase
Chapter4 分布式数据库HBase
weixin_45832571的博客
10-07 1445
4.1概述 4.1.1从BigTable说起 HBase是BigTable的开源实现。 BigTable是一个分布式存储系统，它最初是用于解决谷歌公司内部的大规模网页所搜问题。 网页搜索可以分为两个阶段： 1.第一阶段：建立整个网页的索引。 通过爬虫不断的抓取各个网站的页面，将网页的每页一行存储到BigTable中。 在BigTable上运行MapReduce，MapReduce计算作业运行在整张表上，会生成索引，保证能够快速搜索相关网页。 2.第二阶段：搜索互联网网页。 搜索引擎接收用户发起的查询请求。
HBase中-ROOT-和.META.表
jiaotongqu6470的博客
10-14 627
-ROOT-和.META.表，它们是HBase的两张内置表，从存储结构和操作方法的角度来说，它们和其他HBase的表没有任何区别，你可以认为这就是两张普通的表，对于普通表的操作对它们都适用。它们与众不同的地方是HBase用它们来存贮一个重要的系统信息——Region的分布情况以及每个Region的详细信息。
HBase - ROOT 和 META 表结构 (region定位原理)
tianyeshiye
06-12 1682
1. HBase读写流程 上图是RegionServer数据存储关系图。上文提到，HBase使用MemStore和StoreFile存储对表的更新。数据在更新时首先写入HLog和MemStore。MemStore中的数据是排序的，当MemStore累计到一定阈值时，就会创建一个新的MemStore，并且将老的MemStore添加到Flush队列，由单独的线程Flush到磁盘上，成为一个Sto...
看懂-ROOT-表和.META.表
wangneng_168的专栏
11-28 726
    前提说明：本文章研究的hbase版本是0.94.12。.       -ROOT-表和.META.表是hbase的元数据表，在-ROOT-表中保存有.META.表的相关信息，在.META.表中保存有业务表的region相关信息，在client端访问具体的业务表的region时需要先通过-ROOT-表找到.META.表，再通过.META.表找到region的位置，即这两个表主要解决了...
-ROOT-表和.META.表详解
zzShine的专栏
01-17 1373
HBase中有两个特殊的表：-ROOT-和.META.。由于HBase中的表可能非常大，故HBase会将表按行分成多个region，然后分配到多台RegionServer上。数据访问的整个流程如下图所示：注意两点：       Client端在访问数据的过程中并没有涉及到Master节点，也就是说HBase日常的数据操作并不需要Master，不会造成Master的负担。       并不是每次数
HBase -ROOT-表和.META.表
人是有思想的芦苇
07-22 1629
官方文档：http://hbase.apache.org/book.html#arch.catalog
Hadoop MetaData(元数据) 介绍. 和Block File 信息获得
热门推荐
草原孤狼的专栏
06-02 1万+
hadoop 管理数据的机制      hadoop 用来存储文件是很好，但是要去对存储好的文件进行update，delete，操作，相对就不是那么好操作了，但是非要 做这样的操作，该如何办呐 ？      a. 先去看hadoop 存文件是怎么存的，是怎么读|写的，      b.根据a 的结论，找到读|写的方式也就找到了如何去delete，update 的方式了.      hado
hbase:meta 表解析
初阳
04-19 5813
hbase:meta表中存储了Hbase集群中全部表的所有的region信息。 hbase:mate表所在的RegionServer信息被存储到了zk中的/hbase/meta-region-server节点。通过查询该节点，可以获得hbase:meta表在那个RegionServer。 rowkey hbase:meta表的rowkey结构如下： 表名,STARTKEY,创建时间.ha...
Hbase源码系列之源码前奏hbase:meta表相关详细介绍
mojolang
04-28 707
一，基本功能介绍 -root-表在HBase 0.9.6以后的版本被移除了。 Hbase 0.9.6以前，三个重要信息： 1，-root-表的位置存储在Zookeeper上(只会存在一个regionserver上)，内容是.meta表的存储信息 2，.meta表存储在一个regionserver上，存储的是用户的表的region信息，用户表越大，这个表的region会越多，进而会分布到不同的regionserver。 3，用户的表信息，用户表示存储在各个regionserver上。 Hbase
Hadoop文件系统元数据（MetaData）的持久化
qq_44645104的博客
08-18 779
** Hadoop文件系统元数据（MetaData）的持久化 ** HDFS名称空间由NameNode存储。NameNode使用名为EditLog的事务日志来持久记录文件系统元数据发生的每个更改。例如，在HDFS中创建新文件会导致NameNode将记录插入EditLog，以指示此情况。同样，更改文件的复制因子会导致将新记录插入EditLog。NameNode使用其本地主机OS文件系统中的文件来存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值