为什么Hbase中列族的数量越少越好

最新推荐文章于 2022-12-18 20:12:01 发布
最新推荐文章于 2022-12-18 20:12:01 发布
阅读量933 收藏 3
点赞数
分类专栏： hbase 文章标签： 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42796403/article/details/112857989
版权
本文探讨了在HBase中减少列族数量对于系统性能的影响。列族过多会导致regionserver初始化时内存消耗增大，频繁的flush操作增加磁盘IO负担，引发小文件问题，增加compact的复杂性。因此，合理规划列族数量对于优化HBase集群的性能至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为什么列族的数量越少越好？

  1. 在HBase中列，是在插入数据时产生，动态产生。因此如果有100个列，他们是一个列族还是两个列族，并没有什么区别，无非是在HDFS的存储的目录不同

  2. 列族过多，regionserver在初始化时，需要创建大量的store对象，每个store对象还需要初始化大量的memstore对象，占用大量的内存，要求集群配置高

  3. memstore在flush时，只要一个store对象的memstore的大小超过了溢写的阈值(128M),所有store都会执行flush，因此列族越多，执行flush的概率越大。频繁的flush会占用集群大量的磁盘IO，造成小文件过多，为将来的compact带来难度

从HBase底层原理解析HBASE列族不能设计太多的原因？
大数据学习与分享的博客
11-19 609
在之前的文章《深入探讨HBASE》中，笔者详细介绍了： HBase基础知识（包括简介、表结构）、系统架构、数据存储 WAL log和HBase中LSM树的应用 HBase寻址机制 minor合并和major合并 region管理以及region server上下线 HMaster工作机制和HBase容错性 HBASE数据迁移和备份 a. distcp命令拷贝hdfs文件的方式 b. copytable的方式实现表的迁移和备份 c. replication的方式实现表的复制 d.
【HBase】HBase 列族属性配置
w1992wishes的博客
07-16 5184
文章目录一、创建表及属性查看二、列族属性配置2.1、版本数量（VERSIONS）2.2、存活时间（TTL）2.3、最小版本数（MIN_VERSIONS ）2.4、保留删除的单元格（KEEP_DELETED_CELLS）2.5、数据块大小（BLOCKSIZE ）2.6、块缓存（BLOCKCACHE）2.7、激进缓存（IN_MEMORY）2.8、压缩（COMPRESSION）2.9、布隆过滤器（BLO...
Hbase列族数量限制思考
weixin_34353714的博客
11-30 408
为什么80%的码农都做不了架构师？>>> ...
（转）HBase为什么不建议设置过多的列簇？
小蚯蚓的博客
03-15 1427
在HBase中，是允许设置多个列簇的，但是为什么在实际生产中会设置很少的列簇呢？一般设置在1至3个左右，尽量是越少越好。 原因有多个方面，具体简要说明几点： 1、列簇的数量对flush的影响 在一个RegionServer上有一个或多个region，每个region又由一个或多个store组成，一个store存储的就是一个列簇，也就是说列簇的数量越多，每个region的的store就越多，那么r...
hbase中列簇和列_为什么不建议在hbase中使用过多的列簇
weixin_39850062的博客
12-22 415
我们知道，hbase表可以设置一个至多个列簇(column families)，但是为什么说越少的列簇越好呢？官网原文：HBase currently does not do well with anything above two or three column families so keep the number of column families in your schema low. ...
HBase为什么不建议设置过多的列簇？
从此一心向前，别无它念
08-28 2922
在HBase中，是允许设置多个列簇的，但是为什么在实际生产中会设置很少的列簇呢？一般设置在1至3个左右，尽量是越少越好。 原因有多个方面，具体简要说明几点： 1、列簇的数量对flush的影响 在一个RegionServer上有一个或多个region，每个region又由一个或多个store组成，一个store存储的就是一个列簇，也就是说列簇的数量越多，每个region的的store就越多，那么re...
hbase列簇设计原则，看这篇就对了
longzorg_cn的博客
11-26 1993
In Memory: 优先级最高，常驻cache，在创建列族时定义，不会像其他两种cache会因访问频率而发生改变，这就决定了它的独立性，另外两种block访问次数再多也不会被放到in-memory的区段里去，in-memory的block不管是第几次访问，总是被放置到in-memory的区段中，但是In Memory除了保证优先级外，不会提供其他的保证。第二行的key长度和类型与前一行相同，则不需要存储，第二行的时间戳值为0，而不是完整的时间戳，即时间戳与第一行时间戳相同。
聊聊HBase-1
有上进心的阿龙
05-28 2158
细节???? 概述 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 NoSQL：非关系型数据库 MySQL：关系型数据库 MySQL： 优点：读写速度比较快 缺点：数据量大之后，读写速度下降 HDFS： 优点：海量存储 缺点：不能修改、删除某条数据，写入读取速度相对比较慢 实时数据处理： Hbase：优点：海量数据存储、分布式、读取写入速度比较快 redis、mongdb等也是 逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储
Hbase最全指南
qq_41378127的博客
06-23 974
文章目录一、 Hbase简介1、Hbase 定义2、 Hbase的数据模型3、 Hbase 的基本架构二、Hbase核心1、 写流程2、MemStore Flush3、 读流程4、BloomFilter5、StoreFile Compaction6、Region Split三、HBase预分区和RowKey设计⭐1、 HBase预分区2、 RowKey设计3、 列族设计原则四、HBase的优化方法1、 减少调整2、减少启停3、减少数据量4、 **Zookeeper会话超时时间**5、**优化HStore文件
HBase中不建议使用过多列族
ThreeAspects的博客
04-24 1353
HBase列族个数限制列族数对 Flush 的影响列族数对 Split 的影响列族数对 Compaction 的影响列族数对 HDFS 的影响列族数对 RegionServer 内存的影响 列族数对 Flush 的影响   在 HBase 中，调用 API 往对应的表插入数据是会写到 MemStore 的，而 MemStore 是一种内存结构，每个列族对应一个 MemStore（和零个或多个 HF...
Hbase调优
weixin_43356218的博客
11-20 399
1.调节数据块（data block）的大小 HFile数据块大小可以在列族层次设置。这个数据块不同于之前谈到的HDFS数据块，其默认值是65536字节，或64KB。数据块索引存储每个HFile数据块的起始键。数据块大小的设置影响数据块索引的大小。数据块越小，索引越大，从而占用更大内存空间。同时加载进内存的数据块越小，随机查找性能更好。但是，如果需要更好的序列扫描性能，那么一次能够加载更多HFil...
HBase面试点_1, 为什么要有列族(ColumnFamily)?
菜菜的大数据开发の路
04-04 1518
在HBase中，数据是按Column Family来分割的，同一个Column Family下的所有列的数据放在一个文件（为简化下面的描述在此使用文件这个词，在HBase内部使用的是Store）中。 为什么要这样子做呢？ HBase本身的设计目标是支持稀疏表，而稀疏表通常会有很多列，但是每一行有值的列又比较少。 如果不使用Column Family的概念，那么有两种设计方案： 1.把所有列的数据放在一个文件中（也就是传统的按行存储）。那么当我们想要访问少数几个列的数据时，需要遍历每一行，读取整个表的数据，这
hbase中列簇和列_计算HBase表中列族的记录数
weixin_29191669的博客
12-31 395
I'm looking for an HBase shell command that will count the number of records in a specified column family.I know I can run:echo "scan 'table_name'" | hbase shell | grep column_family_name | wc -lhowev...
hbase 列族 版本数，TTL和二级索引
sun
06-11 3291
版本数量最大版本数量通过HColumnDescriptor为每个列族配置要存储的最大行数版本。为最大版本默认值为1。这是因为在所描述的一个重要参数，数据模型部分的HBase也没有覆盖行的值，但每行而存储不同的值按时间（和限定）。在重要的压缩过程中删除多余的版本。最大版本的数量可能需要根据应用需求增加或减少。不建议将最高版本数设置为极高的级别（例如，数百或更多），除非这些旧值对您非常重要，因为这会大...
Hbase热点问题
GSpinach的博客
10-07 1765
@Author : Spinach | GHB @Link : http://blog.csdn.net/bocai8058 文章目录Hbase结构及rowkeyHbase结构行健RowKey热点/数据倾斜问题数据倾斜的解决方法rowkey设计原则预分区splitkeys选取Column Family列族的设计数量不宜过多（建议不设置多个）一对多设计和宽表 Hbase结构及rowkey...
HBase笔记
qq_36800511的博客
12-18 286
hbase笔记
Markdonw语法
u011230386的博客
09-03 600
HBase 基于 Google 的 BigTable 论文而来，是一个分布式海量列式非关系型数据库系统，可以提供大规模数据集的实时随机读写。
hbase中列族版本的作用
03-28
HBase中的列族版本是指为每个列族存储的多个版本数据。该功能允许在同一行中存储多个版本的数据，而不是仅存储最新版本的数据。列族版本的作用包括： 1. 提供数据的历史记录：列族版本允许存储多个版本的数据，这意味着可以跟踪数据的历史记录。这对于分析和回顾数据变化非常有用。 2. 支持数据回滚：如果由于错误或其他原因需要恢复以前的数据版本，则列族版本允许您回滚到先前的版本。 3. 支持数据快照：列族版本可以用于创建数据快照。快照是数据的一个稳定的副本，可以用于备份或测试目的。 4. 支持数据分析：列族版本允许您跟踪数据的变化，以便进行数据分析和挖掘。例如，可以使用列族版本来分析客户的购买历史记录。 总之，列族版本是HBase的一个重要功能，它提供了许多有用的功能，包括数据的历史记录、数据回滚、数据快照和数据分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值