HBase第五天——HBase读写过程

最新推荐文章于 2024-07-19 21:08:24 发布
最新推荐文章于 2024-07-19 21:08:24 发布
阅读量515 收藏 1
点赞数 1
分类专栏： HBase基础 文章标签： jasmine hbase 第五天
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45473750/article/details/102523267
版权
本文详细介绍了HBase的读写过程，包括读请求的Meta表查询、MemStore与BlockCache的使用，以及写请求的HLog与MemStore操作。同时，文章解析了Region的管理，涵盖region分配、region server的上线与下线流程，以及Master的管理机制，如Master的上线和下线处理。
摘要由CSDN通过智能技术生成

HBase第五天——HBase 读写过程

自己的话：我愿平东海，身沉心不改；
大海无平期，我心无绝时。

HBase的读写过程及Master、Region的管理机制

一、读请求过程

在这里插入图片描述
1、Client 先访问 zookeeper，从 meta 表读取 region 的位置，然后读取 meta 表中的数据。meta中又存储了用户表的 region 信息；

2、根据 namespace、表名和 rowkey 在 meta 表中找到对应的 region 信息；

3、找到这个 region 对应的 regionserver；

4、查找对应的 region；

5、先从 MemStore 找数据，如果没有，再到 BlockCache 里面读；

6、BlockCache 还没有，再到 StoreFile 上读(为了读取的效率)；

7、如果是从 StoreFile 里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。
在这里插入图片描述

二、写请求过程：

在这里插入图片描述
1、Client 向 HregionServer 发送写请求；

2、HregionServer 将数据写到HLog（write ahead log）。为了数据的持久化和恢复；

3、HregionServer 将数据写到内存（MemStore）；

4、反馈 Client 写成功。

注意：

（1）如果Memstore达到阈值，会把Memstore中的数据flush到Storefile中。

（2）当Storefile越来越多，会触发Compact合并操作，把过多的Storefile合并成一个大的Storefile。

（3）当Storefile越来越大，Region也会越来越大，达到阈值后，会触发Split操作，将Region一分为二。

三、Region管理

1. region分配

任何时刻，一个region只能分配给一个region server。master记录了当前有哪些可用的region server。以及当前哪些region分配给了哪些region server，哪些region还没有分配。当需要分配的新的region，并且有一个region server上有可用空间时，master就给这个region server发送一个装载请求，把region分配给这个region server。region server得到请求后，就开始对此region提供服务。

2. region server上线

master使用zookeeper来跟踪region server状态。当某个region server启动时，会首先在zookeeper上的server目录下建立代表自己的znode。由于master订阅了server目录上的变更消息，当server目录下的文件出现新增或删除操作时，master可以得到来自zookeeper的实时通知。因此一旦region server上线，master能马上得到消息。

3. region server下线

当region server下线时，它和zookeeper的会话断开，zookeeper而自动释放代表这台server的文件上的独占锁。master就可以确定：
(1)region server和zookeeper之间的网络断开了。
(2)region server挂了。

无论哪种情况，region server都无法继续为它的region提供服务了，此时master会删除server目录下代表这台region server的znode数据，并将这台region server的region分配给其它还活着的同志。

四、Master管理

1. master上线

master启动进行以下步骤:
（1）从zookeeper上获取唯一一个代表active master的锁，用来阻止其它master成为master。
（2）扫描zookeeper上的server父节点，获得当前可用的region server列表。
（3）和每个region server通信，获得当前已分配的region和region server的对应关系。
（4）扫描.META.region的集合，计算得到当前还未分配的region，将他们放入待分配region列表。

2. master下线

由于master只维护表和region的元数据，而不参与表数据IO的过程，master下线仅导致所有元数据的修改被冻结(无法创建删除表，无法修改表的schema，无法进行region的负载均衡，无法处理region 上下线，无法进行region的合并，唯一例外的是region的split可以正常进行，因为只有region server参与)，表的数据读写还可以正常进行。因此master下线短时间内对整个hbase集群没有影响。

从上线过程可以看到，master保存的信息全是可以冗余信息（都可以从系统其它地方收集到或者计算出来）

因此，一般hbase集群中总是有一个master在提供服务，还有一个以上的‘master’在等待时机抢占它的位置。

Pay atention to your atention
让优秀成为习惯
Nix GnaHz
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HBase第五天——HBase数据结构
你怎么回事
10-12 351
HBase第五天——HBase 数据结构 自己的话：我愿平东海，身沉心不改； 大海无平期，我心无绝时。 HBase的数据结构及物理存储结构 一、数据结构 1. RowKey 与 nosql 数据库们一样,RowKey 是用来检索记录的主键。访问 HBASE table 中的行，只有三种方式： 通过单个 RowKey 访问 通过 RowKey 的 range（正则） 全表扫描 RowKey ...
HBase第五天——HBase三个重要机制
你怎么回事
10-12 293
HBase第五天——HBase 三个重要机制 自己的话：我愿平东海，身沉心不改； 大海无平期，我心无绝时。 HBase的数据flush、compact、split机制 一、数据 flush 过程（flush） 当 MemStore 数据达到阈值（默认是 128M，老版本是 64M），将数据刷到硬盘，将内存中的数据删除，同时删除 HLog 中的历史数据； 并将数据存储到 HDFS 中； ...
HBase第四天——HBase API 操作
你怎么回事
10-11 259
HBase第四天——HBase API 操作 自己的话：我愿平东海，身沉心不改； 大海无平期，我心无绝时。 HBase的java代码开发 一、环境准备 新建项目后在 pom.xml 中添加依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server&...
大数据运维技术第7章 HBase组件安装与配置课件.pptx
06-22
【大数据运维技术——HBase组件安装与配置】 HBase，全称为Hadoop Database，是一种基于Hadoop生态系统的分布式、高性能、非关系型数据库，属于NoSQL数据库家族的一员。HBase的发展始于2007年，由Powerset公司创建...
清华大学精品大数据实战课程（Hadoop、Hbase、Hive、Spark）PPT课件含习题（59页） 第3章 Hadoop数据库HBase.pptx
05-23
【大数据实践——HBase深入解析】 HBase，作为Hadoop生态系统中的分布式列式数据库，是为处理大规模数据而设计的。本章节将深入探讨HBase的体系架构、数据模型以及其实现方式，帮助读者理解其核心概念和应用场景。 ...
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第15期_HBase、Hive与RDBMS 共15页.pdf
03-20
【大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第15期_HBase、Hive与RDBMS 共15页.pdf】这篇资料主要探讨了Hadoop生态系统中的两个重要组件——HBase和Hive，以及它们与传统关系型数据库管理系统(RDBMS)...
大数据技术 Hadoop开发者第二期 Nutch MapReduce HDFS Hive Mahout HBase 共64页.r
09-29
本资料主要涵盖了Hadoop开发者第二期的学习内容，包括Nutch、MapReduce、HDFS、Hive、Mahout以及HBase这六个关键组件，共计64页的深度解析。 1. **Nutch**：Nutch是一款开源的网络爬虫项目，它主要用于抓取互联网上...
完整版大数据课件集合4-大数据导论-第四章-分布式数据库HBase（共71页）.rar
09-29
本资源为"完整版大数据课件集合4-大数据导论-第四章-分布式数据库HBase（共71页）.rar"，它是一个压缩包文件，包含了71页关于大数据导论课程中第四章——分布式数据库HBase的详细讲解。HBase是大数据领域中的一个...
HBase SQL 工具【 Phoenix 的使用】
梦想是动物管理员
07-19 1030
HBase SQL 皮肤 Phoenix
HBase 进阶
梦想是动物管理员
07-19 740
HBase进阶，Master 架构、RegionServer 架构、文件合并以及Region切分
磁力链磁力链磁力链.txt
最新发布
07-22
磁力链
“人力资源+大数据+薪酬报告+涨薪调薪”
07-22
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
安装graphviz和pygraphviz
07-22
pygraphviz 是一个Python库，它是Graphviz图形可视化软件的Python接口。Graphviz是一个开源的图形可视化软件，广泛用于创建和编辑有向图和无向图。pygraphviz使得Python开发者能够轻松地创建和操作图形，以及执行图形的布局和可视化。 一、pygraphviz的主要功能 创建和编辑图形：pygraphviz允许开发者通过Python代码来创建图形，包括添加节点、边等元素，并且可以编辑这些元素的属性，如颜色、形状、标签等。 图形布局：pygraphviz支持多种图形布局算法，如dot、neato、circo等，开发者可以根据需要选择合适的算法来优化图形的布局。 图形可视化：pygraphviz可以将创建和编辑好的图形保存为图片文件，支持多种图片格式，如PNG、JPEG等，方便开发者进行展示和分享。
BrainF**k Devlopment Toolkit
07-22
BrainF**k Devlopment Toolkit(BFDTK)，可用于开发BrainF**k程序。
基于UC3875控制的大功率全桥开关电源设计（提供原理图、PCB图）
07-22
基于UC3875控制的大功率全桥开关电源设计（提供原理图、PCB图） 1、使用UC3875为控制芯片； 2、NCP1253为辅助电源设计，输出12V，给控制芯片供电； 3、UC3845做BOOST升压控制，实现市电整流升压到400V； 4、全桥拓扑设计结构； 5、后级输出同步整流设计； 6、过压硬件保护电路； 7、过流硬件保护电路； 8、提供原理图、PCB图；
毕业设计javajsp大学兼职信息网sqlserver-qp源码含文档工具包
07-22
毕业设计javajsp大学兼职信息网sqlserver-qp源码含文档工具包 页面是jsp，数据库sqlserver，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 （1）网站前台功能： A、信息搜索功能（分类检索） B、用户登录、注册 C、查看发布兼职信息 D、预定兼职 E、个人简历的编辑（也可以上传自己制作的简历） F、用户投诉 G、留言版 H、新闻公告（职场资讯） I、职场攻略（包含面试技巧以及简历指导） （2）管理员后台功能： A、用户信息管理
磁力链,Magnet2Torrent - 磁力链转种子利器
07-22
磁力链,Magnet2Torrent —— 磁力链转种子利器
mvn install jar in repository
07-22
maven将jar包安装到本地仓库的小工具，可批量导入，需配置好JAVA_HOME和MAVEN_HOME环境
spark 读写hbase(scala)——2.批量操作
06-28
### 回答1： 批量操作是指一次性对多个数据进行操作，可以提高操作效率。在使用 Spark 读写 HBase 时，也可以使用批量操作来提高效率。具体实现方式如下： 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据，然后将 Put 对象添加到一个 List 中，最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下： ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据，然后将 Get 对象添加到一个 List 中，最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下： ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2： 在实际的数据处理中，一次需要对多条数据进行读写操作，如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API，可以对多条数据进行一次性的读写操作，极大地提高了程序的效率。 批量读操作： 批量读取数据的方式有两种：Get和Scan。 使用Get方式读取多条数据，需要将每条数据对应的Get对象添加到List集合当中，再将List集合转换为RDD对象进行操作。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据，需要将Scan对象作为参数传入，再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作： 批量写操作可以使用Put对象集合，将多条数据对应的Put对象添加到集合中，并将集合转换成RDD进行操作即可。示例代码如下： ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结： 批量操作是Spark访问HBase的常见操作方式，在实际的实现过程中需要注意以下几点： 1、Get和Scan对象在HBase中读取数据的方式不一样，需要注意区分； 2、使用批量读操作可以大大提高程序效率，减少读写操作的时间消耗； 3、使用批量写操作需要合理规划写入的数据，避免出现数据冲突问题，影响程序的运行。 ### 回答3： 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase，具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候，我们常常需要对一个或多个表进行批量操作，批量操作即是针对 HBase的多行进行插入、删除等操作，以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API，比如 Put、Get、Delete、Scan，这些API都是可以批量操作的。 在Spark中，我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时，使用RDD中的foreachPartition来对每个分区进行处理，在该函数内使用HBase API进行操作。关于批量操作，我们可以在每个分区中开启一个batch操作，将每个操作加入batch后，再提交即可。 例如，我们可以考虑实现一个批量put的功能，将RDD中的数据一批一批写入表中： ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象，使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容，再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中，我们使用foreachPartition遍历RDD中的每个分区，然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List，当List的大小大于等于batchSize时，就将这个List中的所有put操作提交给HBase执行。 最后，释放资源，并为大家展示如何调用这个方法： ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put，我们可以将一批数据提交到HBase执行，从而提升写入效率。当然，对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求，结合Spark和HBase的特点，实现了一些常用的批量操作，为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是，可以将多条记录一次性操作，请求与写入等待时间都会得到缩短，获得更高的效率。感兴趣的同学可以试试，在实际开发中应该会受益匪浅！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值