HBase中不建议使用过多列族_在hbase数据表中,列族过多有什么影响?-CSDN博客

本文链接：https://blog.csdn.net/ThreeAspects/article/details/105738225

HBase中列族过多会导致内存中MemStore增多，影响Flush、Split和Compaction操作，产生更多小文件并消耗RegionServer内存。列族数过多也可能超出HDFS目录文件限制，建议控制在3个以内。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HBase列族个数限制

列族数对 Flush 的影响
列族数对 Split 的影响
列族数对 Compaction 的影响
列族数对 HDFS 的影响
列族数对 RegionServer 内存的影响

为什么HBase会有列族的概念呢？
一行由若干列组成，若干列又构成一个列族（column family），这不仅有助于构建数据的语义边界或者局部边界，还有助于给它们设置某些特性（如压缩）或者指示他们存贮在内存中，一个列族的所有列存贮在同一个底层的存储文件中，这个存储文件叫做HFile。Hbase官方文档中写明，目前列族数量最优不超过3个

列族数对 Flush 的影响

在 HBase 中，调用 API 往对应的表插入数据是会写到 MemStore 的，而 MemStore 是一种内存结构，每个列族对应一个 MemStore（和零个或多个 HFile）。越多的列族，将会导致内存中存在越多的 MemStore；而储存在 MemStore 中的数据在满足一定条件的时候将会进行 Flush 操作；每次 Flush 的时候，每个 MemStore 将在磁盘生产一个 HFile 文件。这样会导致越多的列族最终持久化到磁盘的 HFile 越多。更要命的是，当前 Flush 操作是 Region 级别的（从HBase 1.1，HBase 2.0 开始 Flush 可以设置成列族级别），即 Region 中某个 MemStore 被 Flush，同一个 Region 的其他 MemStore 也会进行 Flush 操作。当表有很多列族，而且列族之间数据不均匀，比如一个列族有100W行，一个列族只有10行，这样会导致持久化到磁盘的文件数很多，同时有很多小文件，而且每次 Flush 操作也涉及到一定的 IO 操作。
为了解决每次 Flush 都对整个 Reg