Hbase

nosql:hbase

RDBMS:MySQL Oracle SQLserver db2 access excel 啥意思base

为什么有hbase

随着数据量越来愈大,传统的关系型数据库不能满足需求

hive虽然能够满足存储的要求,但是不能满足非结构的半结构画的数据存储和高效查询

是什么

是一个开源的、分布式的、多版本的、可扩展、非关系型数据库。
是bigtable的开源java版本。hbase是建立在hdfs之上
高可靠、高性能、列存储、可伸缩、实时读写的nosql的数据库

###适用场景
需要对海量的非结构化的数据进行存储。需要随机的近实时的数据查询

架构

client、zookeeper、hmaster、hregionserver、hlog、hregion、store、memstore、storefile

client:hbase客户端,包含访问和hbase的接口(shell、java api)
维护着一些cache(缓存)来加快对hbase的访问,比如region的位置信息

zookeeper:监控hmaster的状态,保证有且仅有一个active(活跃的)hmaster,达到高可用
实时监控hregionserver的状态,将hregionserver的上下线信息实施通知hmaster
存储所有的和region的寻址路口 - - - root表在那台服务器上
存储hbase的所有表信息(hbase的schema),包含有那些表、每个表有哪些列簇column

h master:hbase的老大
为hregionserver分配hregion(新建表等)
负责和region server的负载均衡
负责和region的重新分配(hregionserver异常、hregion一分为二)
hdfs上的垃圾文件回
处理schema(结构)的更新请求

h regionserver:hbase 的小弟
hregionserver管理和 master 分配给他的 hregion
处理 client 客户端的 io 请求,并和 hdfs 交互
hregionserver 负责切分在运行过程中变大的 hregion

hlog:对 hbase 的操作进行记录,使用 WAL 写数据优先写道 和log 里,然后再写到 memstore 里,然后再写到 memstore 里

hregion:hbase 中分布式存储和均衡负载的最小单元,是表或者表的一部分。

store:相当于一个列簇

memstore:内存缓冲区,用于批量刷新数据到 hdfs

hstorefile:hbase 中的数据以 hfi

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值