南修子学Hbase-Hbase优化之预分区

最新推荐文章于 2022-02-11 09:46:18 发布
最新推荐文章于 2022-02-11 09:46:18 发布
阅读量82 收藏
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huang_rx/article/details/115486313
版权

在这里插入图片描述

之前测试的都是默认的一个分区

创建一个预分区的表

hbase(main):019:0> create 'pre_region_student','info','partition1',SPLITS=>['1000','2000','3000','4000','5000']

已经有了6个分区

6个分区较平均的分布在多台机器上，可以看到每台机器的key区间

通过文件内容进行分区

hbase(main):019:0> create 'pre_region_student','info','partition1',SPLITS_FILE=>'split.txt'

每台机器放2-3倍集群数量个region

南修子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hbase-2.4.17-bin 安装包
08-28
HBase是Apache Hadoop生态系统中的一个分布式、版本化、列族式存储系统，设计用于处理大规模数据集。这个“hbase-2.4.17-bin”安装包提供了HBase的最新稳定版本2.4.17，适用于大数据处理和分析场景。下面将详细介绍...
hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包
07-14
HBase构建于Hadoop的HDFS之上，依赖于HDFS提供分布式存储。HBase的数据是以文件形式存储在HDFS上的，而Hadoop的MapReduce则用于执行HBase的批处理任务。HBase使用Hadoop的YARN进行资源调度和任务管理。 ### HBase的...
HBase原理 | HBase分区影响与合理分区设置
mojolang
02-11 3091
前段时间总结了一篇关于HBase由于分区过多导致集群宕机的文章，感兴趣的同学可以点击原文《HBase案例 | 20000个分区导致HBase集群宕机事故处理》阅读参考。本文重点参考HBase官网，从分区过多这个角度出发，进一步聊一聊HBase分区过多的影响以及单节点合理分区数量等。 HBase 分区概念 接触过HBase的同学都知道，HBase每张表在底层存储上是由至少一个Region组成，Region实际上就是HBase表的分区。HBase新建一张表时默认Region即分区的数量为1，一般在生产环境中我
hbase预分区和注意点
嘿！没错，我是李先生
07-14 2018
一、预分区 1 原因： 热点问题：数据持续读写一个region（或节点）上。 region自动分区会造成频繁IO。 2 设置分区 （前缀）范围 -10,10-20,20-30,30-40,40-50,50-60,60-70,70-80,80-90,90- 生成分区前缀： 建表： 造数据： 查看web ui以验证 二、注意点 1 如何加盐 2 每个RegionServer上分区多少合适 ...
HBase的rowKey设计技巧
weixin_42487706的博客
08-07 265
HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式： 通过get方式，指定rowkey获取唯一一条记录 通过scan方式，设置startRow和stopR...
hbase热点问题解决（预分区）
Zsigner的博客
06-21 298
推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅 https://blog.csdn.net/qq_31289187/java/article/details/80869906 一、出现热点问题原因 1、hbase的中的数据是按照字典序排序的，当大量连续的rowkey集中写在个别的region，各个region之间数据分布不均衡； 2、创建表时没有提前预分区，创建的表默认只有一个region，大量的数据写入当前region； 3、创...
hbase-2.4.11-bin.tar.gz
04-19
7. **性能优化**：HBase提供了多种优化策略，如表分区、布隆过滤器、压缩等，可以根据实际场景调整以提升性能。 8. **安全性**：HBase支持Kerberos认证，可以实现安全的集群环境。同时，可以利用Hadoop的权限管理来...
phoenix-hbase-2.2-5.1.2-bin.tar.gz
05-07
HBase的核心特性包括行式存储、多版本并发控制、分布式架构以及自动分区。 Phoenix是建立在HBase之上的SQL查询引擎，它为HBase提供了高性能的JDBC驱动，使得开发人员可以通过SQL接口来操作HBase，而无需掌握复杂的...
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
07-26
大学生挑战杯-喜树根器官培养和抗癌物质喜树碱生成的研究.rar
b278视频及游戏管理平台-springboot+vue.zip（可运行源码+sql文件+）
07-26
视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。 视频及游戏管理平台是一个很好的项目，结合了后端（Spring Boot）和前端（Vue.js）技术，实现了前后端分离。
大模型应用-为Ollma开发的简单的HTML网页UI应用-附项目源码-优质项目实战.zip
07-26
大模型应用_为Ollma开发的简单的HTML网页UI应用_附项目源码_优质项目实战
基于JAVA局域网监听软件的设计与开发(源代码+论文).rar
07-26
基于JAVA局域网监听软件的设计与开发(源代码+论文).rar
小程序-光影娱乐带后台（源码）.zip
07-26
小程序-光影娱乐带后台（源码）.zip
基于Cadence的模块化电路设计与应用研究
07-26
在当前电子产品的需求不断扩大尧更新频率持续加快的形势下袁电路模块化设计成为了提高电子产 品设计效率尧最大化降低研制成本极其重要且有效的实施途径遥通过对模块化电路设计流程进行分析袁系统地 梳理出了Cadence软件下模块化电路设计的实现方式袁以及基于Capture CIS 的模块化电路调用方法袁为广大设 计师开展产品模块化电路设计提供了方法参考遥
基于人工蜂群优化算法ABC-Kmean-Transformer-GRU实现数据回归预测算法研究Matlab代码.rar
最新发布
07-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
基于JavaWeb的blog博客发布系统（源代码+数据库sql）.rar
07-26
基于JavaWeb的blog博客发布系统（源代码+数据库sql）.rar
小程序-智能用电.zip
07-26
小程序-智能用电.zip
Hadoop-HBase-Hive集群安装配置实战指南
HBase是一个分布式、列族式的NoSQL数据库，HMaster是其主服务器，负责元数据管理、RegionServer分配等，HRegionServer则处理具体的表分区服务。 Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值