Hbase 查询过程详解(基于hbase0.98版本后分析的)

最新推荐文章于 2024-06-28 15:58:59 发布
最新推荐文章于 2024-06-28 15:58:59 发布
阅读量1.2w 收藏 14
点赞数 1
分类专栏： hbase hadoop 推荐系统 文章标签： zookeeper 查询快 hbase namespace 索引
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/map_lixiupeng/article/details/40857825
版权
本文深入解析HBase查询流程，从Zookeeper获取Meta信息，详细阐述RowKey结构，包括Namespace的引入，以及RegionInfo的组成。接着讲解查询过程中，包括Memstore、BlockCache和HFile的数据检索，强调BloomFilter和分级索引的角色。最后提到HFile的核心设计思想和优化策略。
摘要由CSDN通过智能技术生成

1、查询第一步是根据rowkey获取所在region信息

hbase0.96版本后删除了root 表，因为觉的目的是根据rroot表获取meta地址，过程是通过zookeeper获取root表地址，在根据root表记录meta表地址进行访问，还不如和zookeeper通讯一次。新增了namespace，详细见patch设计（https://issues.apache.org/jira/browse/HBASE-8015）

 

Meta的地址存放在zookeeper的(老版本是存放在root表里)如图：

   

Meta 表结构：

  

每条Row记录了一个Region的信息。首先是RowKey，RowKey由三部分组成：TableName, StartKey 和 RegionId。RowKey存

最低0.47元/天 解锁文章
修鹏李
关注
  • 1
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
专栏目录
HBase
helloworld999999的博客
01-21 3666
一、初始HBase 1.1 HBase简介 1.1.1 HBase是什么 HBase是Goole的BigTable论文而来，是一个分布式海量列示非关系型数据库系统，可以提供超大规模数据集的实时随机读写。 认识HBase列存储 如下是MySql存储机制，空值字段浪费存储空间 如果是列存储的话： 列存储的优点： 1.减少存储空间的占用。 ...
HBase读取流程详解
晓晓的天空
03-05 1539
HBase读取流程详解
hbase数据查询及过滤器详细使用
热门推荐
小强签名设计 的博客
06-23 2万+
创建并插入数据： hbase(main):179:0> create 'scores','grade','course' hbase(main):180:0> put 'scores','zhangsan01','course:art','90' hbase(main):181:0> scan 'scores' ROW
hbase上怎么查表数据
最新发布
weixin_36435829的博客
06-28 249
shell相关视频讲解：Linux shell脚本编程入门详细讲解在HBase上如何查询表数据 HBase是一个分布式、可扩展、面向列的NoSQL数据库，我们可以通过HBase Shell或API来查询表数据。本文将介绍如何使用HBase Shell来查找表数据的方法，并提供一个具体的案例。 使用HBase Shell查...
hbase 简单的查询过程
09-21 2129
hbase region server 的信息都存放在hbase:meta表中，查询时先根据rowkey到该表中找到数据所在的region server，然后到数据所在的region server 上捞出数据。 之前版本的这些信息存在ZK、root 表中。 scan 'hbase:meta', {COLUMN=>'info:server'}  取出所有regionserver，包括hbase:
Hbase的表查询操作
m0_53291740的博客
05-16 3129
1.scan 可以不用输入rowkey,能按照一定的规则查出来对应的rowkey和值 public void scan(String tablename,String cf,String column) throws Exception{ HTable table=new HTable(conf,tablename); Scan s=new Scan(); s.setStartRow(Bytes.toBytes("0"));//可以限定rowkey的范围，字典序 s.setSto
【Hbase】hbase过滤查询
人生所向，皆是美好
02-22 917
文章目录引言hbase 过滤器的比较运算符hbase 过滤器的比较器（指定比较机制）hbase 过滤器分类比较过滤器专用过滤器 引言 过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器 过滤器的作用： 是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端 hbase 过滤器的比较运算符 LESS < LESS_OR_EQUAL <= EQUAL = NOT_E...
基于HBase的大数据存储的应用场景分析
01-27
2. 消息日志存储：在京麦消息日志存储中，HBase与ES配合，HBase用于长期存储，提供数据统计分析的基础，而ES则负责实时消息追踪和短期数据查询。 理解HBase的数据结构是有效利用的关键： - Row Key：行的唯一标识，...
hbase用于查询客户端工具
03-22
HBase是一种分布式、基于列族的NoSQL数据库，它在大数据领域中扮演着重要的角色，尤其是在需要实时查询大规模数据集时。HBase以其高吞吐量、低延迟和水平扩展能力而闻名，常用于存储非结构化和半结构化数据。在HBase...
HBase源代码 hbase-0.98.23
05-27
总之，通过对hbase-0.98.23源代码的深入学习，我们可以了解到HBase如何实现数据的分布式存储、查询、分区管理以及容错机制。这对于理解HBase的工作原理，优化系统性能，甚至进行二次开发具有极大的价值。然而，HBase...
hbase读取数据过程
12-26
HBASE的一个读取数据流程的解析，清晰的画出整个过程，十分有利于理解
基于springboot集成hbase过程解析
08-25
"基于SpringBoot集成HBase过程解析" SpringBoot集成HBase是当前大数据处理和存储解决方案中的一种常见组合。HBase是基于Hadoop的分布式、可扩展的NoSQL数据库，能够存储大量的结构化和非结构化数据。SpringBoot则...
3. HBase进阶
weixin_45267102的博客
01-27 195
HBase的组成及其中的运行流程和原理
hbase查找数据流程理解
啊大海全是水的博客
07-24 2001
整体hbase 查找数据流程以hbase1.2.6 为例子 1 跟进zookeeper 获取对应的meta 表位置，meta 表位置只有1个在zookeeper 的目录是 /hbase/meta-region-server 问题：为什么meta 表 只有一个位置？ 解答：和之前的hbase 寻址流程比 少了一次查询，并且一个meta 表中存储的regin信息足够用了,比如默认...
HBase如何快速查询
ThreeAspects的博客
04-23 2763
   HBase能提供实时计算服务主要原因是由其架构和底层的数据结构决定的，即由LSM-Tree(Log-Structured Merge-Tree) + region分区 + Cache决定——客户端可以直接定位到要查数据所在的HRegion server服务器，然后直接在服务器的一个region上查找要匹配的数据，并且这些数据部分是经过cache缓存的。    HBase会将数据保存到内存中，...
Hbase对表进行查询操作详细教程
weixin_45890771的博客
11-24 1万+
创建命名空间 booksystem Create_namespace’booksystem’ 创建表 bookinfo Create ‘booksystem:bookinfo’,’info1’ 追加列族 info2 Alter ‘booksystem:bookinfo’, ‘info2’ 添加数据 Put ‘booksystem:bookinfo’,’101’,’info1:name’,hbase’ 扫描出bookinfo的所有数据 Scan ‘booksystem:bo
大数据系列——HBase理论
mql007007的博客
04-23 4149
大数据系列——HBase理论
hbase查询过程
文武傲群雄，彳亍定江山
03-29 685
HBaseConfiguration -> HTable -> RegionServers ->ROOT -> MATA ->对应的region HBase客户端的 HTable类负责寻找相应的RegionServers来处理行。他是先查询 .META. 和 -ROOT 目录表。然后再确定region的位置。定位到所需要的区域后，客户端会直接 去访问相应的regi...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值