HBase读取数据过程

最新推荐文章于 2023-03-05 09:24:59 发布
最新推荐文章于 2023-03-05 09:24:59 发布
阅读量721 收藏
点赞数
分类专栏： hbase 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a11a2233445566/article/details/44454997
版权



假设客户端访问user表 row key 是333数据

1 连接zk,zk里面缓存-root-表信息，-root-在一个region里面
2 客户端访问 root所在的region server
3 Client查.META.表信息 .META.有多个region 每个region 都按照row key排序。 查到row key为333存在第二台HRegionServer上面
4client去访问第二台HregionServer查数据 把查到的信息缓存到Client。 regionServer将他的信息汇报给zk, zk会更新。client是个单例一直存在，client和zk建立长连接，ResionServer将息汇报给zk,然后zk更新自己缓存 信
a11a2233445566
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据HBase（十三）：HBase读取和存储数据的流程
Lansonli（蓝深李）的博客
07-22 2257
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 HBase读取和存储数据的流程 一、HBase读取数据的流程 二、HBase存储数据的流程 客户端的同步流程: 异步服务器端执行过程: 系列历史文章 2021年大数据HBase（十一）：Apache Phoenix的视图操作 2021年大数据HBase（十）：Apache Phoenix的基本入门操作 2021年大数据HBase（九）：Ap..
HBase读取数据快还是写数据快
cocolin2022的博客
12-16 559
HBase面试题
HBase读取流程
weixin_42241438的博客
12-20 326
四个步骤 Client-Server读取交互逻辑、 Server端Scan框架体系、 过滤淘汰不符合查询条件的HFile、 从HFile中读取待查找Key 1、Client-Server读取交互逻辑 客户端和服务器的交互， Client首先会从Zookeeper中获取元数据hbase:meta表所在的RegionServer， 然后根据待读写rowkey发送请求到元数据所在Regi...
spark 读取hbase中的数据
lzz360的专栏
06-24 2042
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Scan import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.protobuf.Protob
hbase读取数据过程
12-26
HBASE的一个读取数据流程的解析，清晰的画出整个过程，十分有利于理解
HBase读取流程详解
最新发布
晓晓的天空
03-05 1541
HBase读取流程详解
java操作Hbase之从Hbase中读取数据写入hdfs中源码
01-17
java操作Hbase之从Hbase中读取数据写入hdfs中源码，附带全部所需jar包，欢迎下载学习。
HBase读写数据流程
szwwzh的博客
04-09 459
hbase的系统表 hbase:namespace    存储了hbase中的所有namespace的信息 hbase:meta    存储了hbase中所有的region的信息，包括rowkey范围，region所在的regionserver的地址。 hbase:meta  在zookeeper中，进入zookeeper中
spark读取hbase数据，并使用spark sql保存到mysql
09-24
至此，我们就完成了从 HBase 读取数据并将其保存到 MySQL 的过程。这个过程的关键在于理解 Spark、HBase 和 MySQL 之间的交互机制，以及正确配置它们的连接参数。通过使用 DataFrame API 和 Spark SQL，可以方便地在...
python利用thrift服务读取hbase数据的方法
12-25
因工作需要用python通过hbase的thrift服务读取Hbase表数据，发现公司的测试环境还不支持，于是自己动手准备环境，在此我将在安装步骤尽可能描述清楚，旨在给第一次动手安装的朋友，此过程亲测成功！ 安装过程如下： ...
HBase之读取数据流程
热门推荐
每天进步一点点
07-01 1万+
说明 本文参考自 HBase数据读取流程解析 hbase（二）hfile结构 目录 说明 1.HBase读取数据流程 2.疑问 2.1上述（10）中，需要对满足条件的KeyValue进行从小到大排序合并构建最小堆。 ​​2.1.1为什么Scanner需要有小到大排序？ 2.1.2HBase中KeyValue是什么样的结构？ 2.1.3不同KeyValue之间如何进行大小比较......
一文带你了解HBase读取数据详细流程
newbei5862的博客
11-16 5529
HBase数据读取流程 1、hbase数据读取流程简单描述 ​ 一般来说，在描述hbase读取流程的时候，简单的描述如下： ​ 1)、客户端从zookeeper中获取meta表所在的regionserver节点信息 ​ 2)、客户端访问meta表所在的regionserver节点，获取到region所在的regionserver信息 ​ 3)、客户端访问具体的region所在的regionserver，找到对应的region及store ​ 4)、首先从memstore中读取数据，如果读取到了那么直接将数据
HBase数据读取流程解析
LW_ICE
03-07 1万+
和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是使用时间戳属性实现了多版本。删除操作也并没有真正删除原有数据，只是插入了一条打上”deleted”标签的
hbase高性能读取数据
weixin_30662109的博客
01-09 359
有时需要从hbase中一次读取大量的数据，同时对实时性有较高的要求。可以从两方面进行考虑：1、hbase提供的get方法提供了批量获取数据方法，通过组装一个list<Get> gets即可实现；2、java多线程的Future方法实现了如何从多线程中获取返回数据。以上两种方法结合后，获取数据将会更加的高效。阅读到一篇文章，对这两个方法的结合使用给出了实例，并有详细的性能...
HBase读写的几种方式（一）java篇
Swordfall的博客
03-12 1016
1.HBase读写的方式概况 主要分为： 纯JavaAPI读写HBase的方式； Spark读写HBase的方式； Flink读写HBase的方式； HBase通过Phoenix读写的方式； 第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoeni...
【HBase基础教程】7、HBase之读取HBase数据写入HDFS
andieguo的专栏
03-05 8149
本blog介绍如何读取Hbase中的数据并写入到HDFS分布式文件系统中。读取数据比较简单，我们借用上一篇【HBase基础教程】6、HBase之读取MapReduce数据写入HBase的hbase数据输出wordcount表作为本篇数据源的输入，编写Mapper函数，读取wordcount表中的数据填充到
java客户端通过get方法获取Hbase的数据
zhengruli的博客
08-16 6940
public static void main(String[] args) throws MasterNotRunningException, IOException{ // TODO Auto-generated method stub String tableName = "zrl_emp"; Configuration conf = HBaseConfiguration.crea
【HBase基础教程】6、HBase之读取MapReduce数据写入HBase
andieguo的专栏
03-05 8684
本blog将介绍利用MapReduce操作HBase，借助最熟悉的单词计数案例WordCount，将WordCount的统计结果存储到HBase，而不是HDFS。开发环境 硬件环境：Centos 6.5 服务器4台（一台为Master节点，三台为Slave节点） 软件环境：Java 1.7.0_45、Eclipse Juno Service Release 2、hadoop-1.2.1、hbase-
HBase数据读取深度解析：流程与优化
"本文将深入解析HBase的数据读取流程，探讨其复杂性的原因，并概述Client-Server交互逻辑。" 在HBase中，数据读取流程比写入更复杂，主要原因是其存储引擎基于LSM-Like（Log-Structured Merge Tree）树结构。这种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值