HBase
点滴笔记
点滴笔记、努力生活、加油!
展开
-
HBase | oldWALs目录文件剧增占用磁盘空间问题
出现问题原因:当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。HMaster在做定期清理的时候首先会检查zookeeper中/hbase/replication/rs下是否有对应的复制文件,如果有就放弃清理,如果没有就清理对应的...原创 2020-02-25 14:45:27 · 3387 阅读 · 0 评论 -
HBase | RegionServer拆分实现过程
由于写入请求由区域服务器处理,它们累积在一个名为memstore的内存存储系统中。一旦memstore填充,它的内容就会作为附加的存储文件写入磁盘。这个事件被称为memstore刷新。当存储文件堆积时,RegionServer会将它们压缩成更少、更大的文件。每次刷新或压缩完成后,该区域中存储的数据量将发生变化。RegionServer会咨询区域拆分策略,以确定该地区是否因为其他策略特定的原因而变得...转载 2019-12-02 16:37:36 · 529 阅读 · 0 评论 -
HBase | 块缓存BlockCache
HBase提供了两种不同的BlockCache实现,来缓存从HDFS中读取的数据:默认的on-heapLruBlockCache和BucketCache(通常是off-heap)。缓存选择LruBlockCache是原始实现,完全在Java堆内。BucketCache是可选的,主要用于保持块缓存数据脱离堆,尽管BucketCache也可以是文件支持的缓存。当您启用Buc...转载 2019-12-02 16:31:08 · 1020 阅读 · 0 评论 -
HBase | 操作和性能配置选项
调试HBase服务器RPC处理 设置 hbase.regionserver.handler.count(在 hbase-site.xml)为用于并发的核心 x 轴。 可选地,将调用队列分成单独的读取和写入队列以用于区分服务。该参数 hbase.ipc.server.callqueue.handler.factor 指定调用队列的数量: 0意味着单个共享队列。 ...转载 2019-12-02 16:14:42 · 578 阅读 · 0 评论 -
HBase | HBase 优化
Region:基于RowKey设计来预建分区,减少Region的动态分裂,如果没有预建分区的话,随着Region中数据的增加,Region会进行分裂,这将增加I/O开销。HFile:数据底层存储文件,在每个Memstore进行刷新时会生成一个HFile,当HFile增加到一定程度时,会将属于一个Region的HFile进行合并,但注意合并后HFile大小如果大于设定的值,那么HFile又将重新...原创 2019-12-02 14:37:52 · 168 阅读 · 0 评论 -
HBase | HBase的读写流程是怎样的?为什么HBase的写比读更快?
跟大佬学习一波:读写流程:https://blog.csdn.net/wypersist/article/details/80115123https://www.csdn.net/gather_25/MtTaEgzsODM1Ni1ibG9n.html读写比较:https://www.jianshu.com/p/9db975e817be存储格式:http...原创 2019-11-29 11:01:54 · 439 阅读 · 0 评论