HBase
RayfunC
一个懂艺术, 会写文的攻城狮
展开
-
HBase 架构详解析
HBase 的架构相对于其他大数据框架的架构来说是较为复杂的HBase特点具有:列式海量储存, 稀疏性, 列数据可为空, 且不占用空间极易扩展, 储存空间添加 DataNode 节点, 处理性能添加 HRegionServer 节点高可用, 利用 Zookeeper高并发架构中的角色1. Client包含了访问 Hbase 的接口,维护对应的 cache ...原创 2019-02-16 10:32:01 · 1264 阅读 · 0 评论 -
Hbase中Hmaster启动失败的原因
在启动 Hbase 后,发现没有 Hmaster 进程的现象,并且导致 Hbase shell 启动后操作报 Can't get master address from ZooKeeper; znode data == null 的错误以及停止 Hbase 时出现 stopping hbasecat: /tmp/hbase-xxxxx-master.pid: 没有那个文件或目录 的错误...原创 2019-02-16 19:04:29 · 11057 阅读 · 0 评论 -
HBase 中 HRegion 切分注意事项
当一个表过大, 即 HRegion 过大的时候, 会进行切分, 将 HRegion 根据 RowKey 一分为二, 包括其中的所有 Store 以及 HRegionServer 中的 HLog, 因为被分开的 HRegion 部分有可能会交给其他的 HRegionServer 维护.一个 HRegion 可以有多个 Store, 即一个表可以有多个列族,但是官方建议一张表只有一个列族, 因...原创 2019-02-17 09:08:59 · 498 阅读 · 0 评论 -
HBase 读写流程
读数据流程客户端先查看本地是否存有 meta 表 (包含所需数据所在的 HRegionServer 位置) 数据位置元信息的缓存, 即 blockCache, 如果有直接找对应的 HRegionServer 而不用去 zookeeper 查找元信息, 否则需要到 zookeeper 读取 meta 表, 读取后会先把位置元信息缓存到blockcache 找到 meta 信息后, 向对应...原创 2019-02-12 13:50:10 · 948 阅读 · 0 评论 -
HBase 优化总结
1.高可用HBase 中的 Hmaster 存在单点故障隐患, 故需要配置 HA, HBase 原生支持对 Hmaster 的 HA步骤如下:1.关闭HBase集群(如果没有开启则跳过此步)[rayfun@hadoop102 hbase]$ bin/stop-hbase.sh2.在conf目录下创建backup-masters文件[rayfun@hadoop102 hb...原创 2019-02-14 13:07:02 · 381 阅读 · 0 评论