大数据秋招面经之hbase系列

本文介绍了HBase在大数据场景下的重要性,详细讲解了HBase的特点、读写流程、RowKey设计、热点数据处理、与MySQL的区别、Region分裂与合并等核心知识点,同时探讨了LSM树思想以及HBase的调优策略,是秋招大数据岗位面试的必备指南。
摘要由CSDN通过智能技术生成


前言

HBase作为大数据常用的数据库组件之一,面试中也经常会被问到。


秋招高频考点

1.hbase的特点

HBASE可以理解成是一张大表(10亿级别行,百万级别列),面向列的数据存储结构。Hbase的数据是存储在HDFS上的,可实时读写,具有分布式,高可靠,高性能的特点,可伸缩,主要用于存储非结构化和半结构化的数据。HBASE比较消耗内存,可顺序读写磁盘文件。

2.hbase读流程

  • 客户端从ZK获取元数据表所在的regionServer节点信息。

  • 客户端访问对应节点,获得region所在的regionServer节点信息。

  • 客户端访问具体的reion所在regionServer,找到对应的region及store

  • 首先从memstore读,读到就返回,读不到就去blockcache读,找不到就去HFile遍历

  • 若在HFile找到了,就把数据缓存到blockcache中。

3.hbase的rowkey设计:

长度原则;散列原则;唯一原则
长度原则:rowkey是一个二进制码流,一般越短越好,不要超过16个字节。
散列原则:hash;加盐(随机值);字符串倒置等方法
唯一原则:rowkey是按字典序排序的,要充分利用排序特点,将经常读取的数据存到一块。

4.hbase的热点数据问题及预分区

先根据数据规模做预分区,然后再设计row

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值