hbase是个比较吃内存的大数据组件,虽然数据存在hdfs中,但是不像mysql或者elasearch那样有索引的优势,只能用内存缓存数据来实现快速存取。
hbase安装时候,通常都需要修改配置文件,默认配置通常是8G内存的配置。
配置文件有问题的话,后果是:hbase集群启动,直接报错,启动失败。所以说,一个好的hbase内存配置,很重要。
数据组hbase好端端的,老是不够,然后非常协调的整个集群挂了,后来发现是机器64G内存升到96G的时候,我想当然的把32G堆内存改为64G,导致分配不到资源却不进行GC,一直向系统拿内存,集群就挂了。
后来,我们重新规划了一下内存,一直很坚挺。我们集群版本是这样的:
hadoop 3.0
hbase 2.0.3
注意:hbase1.x与2.x区别很大,无论是flush、compact,还是split上面,所以这里需要强调一下,版本是2.0.3,网上很多博客讲的是1.x版本的,2.x有很大改变,属于重大版本变更。hbase2.x相比1.x确实有很大的改变,比如:尽量