【硬刚HBase】HBASE优化（1）：预分区/RowKey设计/内存优化/基础优化

已于 2022-03-12 12:44:33 修改
阅读量1.4k 收藏 2
点赞数
分类专栏： Hbase系统性学习专栏 文章标签： hbase 机器学习 big data
于 2021-09-15 22:18:42 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/120318156
版权
本文详细介绍了HBase的高可用配置，预分区策略，RowKey设计以确保数据均匀分布，以及内存优化技巧，旨在提升HBase性能和集群稳定性。此外，还涵盖了基础优化措施，包括HDFS配置，DataNode优化，RPC监听数量调整等。
摘要由CSDN通过智能技术生成

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的HBase部分补充。

1 高可用

　　在HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。

1．关闭 HBase 集群（如果没有开启则跳过此步）

[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh

2．在 conf 目录下创建 backup-masters 文件

[atguigu@hadoop102 hbase]$ touch conf/backup-masters

3．在 backup-masters 文件中配置高可用 HMaster 节点

[atguigu@hadoop102 hbase]$ echo hadoop103 > conf/backup-masters

4．将整

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hbase参数优化
05-17
### HBase参数优化详解 ...本文介绍的几种优化策略涵盖了从RowKey设计、预分区、ColumnFamily数量控制到InMemory和MaxVersion设置等多个方面，这些策略可以根据具体的业务需求灵活调整，以达到最佳的性能表现。
【分布式数据库】HBase性能调优（二）
最新发布
康师傅没有眼泪
06-27 3243
NameNode的元数据备份使用SSD、定时备份 NameNode 上的元数据，每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。2、为NameNode指定多个元数据目录，使用dfs.name.dir或者dfs.namenode.name.dir指定。一个指定本地磁盘，一个指定网络磁盘。这样可以提供元数据的冗余和健壮性，以免发生故障。
HBase之缓存
happy19870612's blog
11-13 7308
一 HBase 缓存简介 HBase提供了2种类型的缓存结构：MemStore & BlockCache。其中 MemStore是写缓存，BlockCache是读缓存。   MemStore： HBase写数据首先写入MemStore之中，并同时写入HLog，待满足一定条件后将MemStore中数据刷到磁盘，可以很大提升HBase的写性能。而且对读也很有提升，如果没有MemStore，读取
6. HBase优化
weixin_45267102的博客
01-30 211
熟悉HBase的高可用，预分区，设计RowKey，以及基础优化。
Hbase学习（三）-- Hbase客户端
qq_38787854的博客
05-04 3372
对于使用Hbase，通常情况下是Hbase客户端到Hbase服务端再到HDFS客户端这么一个路径，所以使用Hbase时需要对Hbase客户端有较好的理解。实际上，由于Hbase的复杂性以及Region的定位设计在客户端上（hbase:meta元数据表缓存在客户端上用于定位region），导致Hbase客户端并不足够轻量级。 Hbase客户端实现： Hbase提供了多种语言的客户端，由于Hbase是通过Java语言实现的，所以非Java语言需要先访问ThriftServer，然后通过Jav...
[hbase]架构|读写流程|RowKey设计|预分区
胖胖的博客
11-01 1234
HBase中的行是按照RowKey的字典顺序排序的，这种设计优化了scan操作，可以将相关的行以及会被一起读取的行存储在临近位置，便于scan。然而糟糕的RowKey设计是热点的源头。热点发生在大量的client直接访问集群的一个或极少数个节点（访问可能是读、写），大量的访问会使热点Region所在的单个机器超出自身承受能力，引起性能下降甚至region不可能用，这也会影响同一个RegionServer上的其他region，而设计良好的RowKey可以使集群被均匀的利用。
HBase写性能优化策略
04-18
因此需要检查RowKey的设计是否合理以及预分区策略是否恰当，以保证写入请求的均衡分布。 最后，KeyValue大小对写入性能的影响非常显著。如果写入的KeyValue太大，会造成频繁的flush操作，这不仅会增加I/O的负担，也...
HBase的预分区
01-20
预分区（Pre-Partitioning）是HBase为了优化性能和负载均衡而采用的一种策略，主要解决的是数据写入的热点问题以及减少Region分裂带来的开销。 在HBase中，Region是数据存储的基本单元，每个Region包含一个或多个...
Hadoop2.7.7 API: hdfs-site.xml 解析
张伯毅的专栏
08-13 3161
name description value 备注 hadoop.hdfs.configuration.version 配置文件版本 1 　 dfs.namenode.rpc-address 处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 ...
Hbase客户端的写缓冲区和put列表
caoli98033的专栏
04-05 3534
写缓冲区 HBase每次的put操作，都是一次rpc操作，如果某个应用程序每秒钟有1000+的put操作，那显然是不合适的。 HBase的客户端API中配置了一个写缓冲区，缓冲区负责收集put操作，达到一定条件后，调用一次rpc操作，将全部的缓冲数据发送到服务器端。     void setAutoFlush(boolean autoFlush)     boolean isAutoFlu
Hbase 学习（四） hbase客户端设置缓存优化查询
weixin_34384915的博客
08-03 179
我们在用hbase的api对hbase进行scan操作的时候，可以设置caching和batch来提交查询效率，那它们之间的关系是啥样的呢，我们又应该如何去设置? 首先是我们的客户端代码。 当caching和batch都为1的时候，我们要返回10行具有20列的记录，就要进行201次RPC，因为每一列都作为一个单独的Result来返回，这样是我们不可以接受的。 下面展示的是...
HBase Rowkey散列和预分区设计
26857259
01-26 4555
我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowky，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。像这样预先创建hbase表分区的方式，称之为 预分区。
五十六、HBase的优化
象在舞的技术专栏
04-08 2668
当一个组件到了优化部分的时候，基本上这个组件的内容就到了结尾部分了，本文我们给HBase收收尾，来讲一下HBase的优化。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~ 一、HBase的高可用 在HBase中HMaster负责监控Region Server的生命周期，均衡Region Server的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。这里需要注意的是，如果HMaster挂掉，H
hbase中的缓存的计算与使用
蓝色时分
04-13 237
      hbase中的缓存分了两层：memstore和blockcache。       其中memstore供写使用，写请求会先写入memstore，regionserver会给每个region提供一个memstore，当memstore满64MB以后，会启动flush刷新到磁盘。当memstore的总大小超过限制时（heapsize * hbase.regionserver.glob...
hbase缓存机制
yx_keith的博客
01-23 2930
regionserver的缓存包含了memestore和blockcache两种，其中memstore用于写缓存(读缓存也包括)，blockcache用于读缓存。regionserver给每一个region都分配一个memstore，数据写入的过程中先写入到memstore，当memstore达到设定的阈值后(由hbase.hregion.memstore.flush.size参数控制)，会触发f
[HBase] HBase client-side buffer 客户端缓存
芒果先生Mango的专栏
01-17 4068
HBase Client 通过table.put(Put put)方法向Server端写数据，默认情况下，每次调用table.put()方法 ，就会触发一次RPC将数据提交到Server端 在批量写数据的情况下，过多的时间都浪费在RPC上了。 HBase Table 类提供了一个setAutoFlush(boolean) 方法，能够控制是否开启client side buffer(客户端缓存，
白话HBase-客户端缓存 region位置信息
鲸鱼写程序的专栏
11-05 1533
    背景 第一次请求某个表的时候，table.get  table.scan 等api通常都比较慢，但是第一次慢了之后，后面有很快，是什么原因导致的呢？ 我们直接从源码来看看   一般用户使用方法 HTableInterface table=connection.getTable(xxxx) Get get=new Get(“zzz”.getBytes()); table.g...
hbase调优知识点(预分区和rowkey)
zzds111的博客
12-05 1288
一、预分区 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候， 所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。 一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入 HBase时，会按照region分区情况，在集群内做数据的负载均衡。 如果知道hbase数据表的key的分布情况，就可以在建表的时候对hbase进行region的预分区。这样做的好处是防止大数据量插入的热点问题，提高数据插入的效率
优化HBase Rowkey：散列与预分区策略避免热点问题
HBaseRowkey的散列与预分区设计是HBase优化性能的关键，合理的rowkey设计和Region分裂策略能够确保数据的高效存储和访问，避免数据倾斜和性能瓶颈。理解并优化这一设计是HBase管理员和开发者的重要任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值