![](https://img-blog.csdnimg.cn/20200630154809809.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
hadoop生态
hadoop实战
大树1993
这个作者很懒,什么都没留下…
展开
-
HBase—Compaction之详解
1.概述 Compaction核心功能是合并小文件,HBase的Compaction分为MinorCompaction和majorCompaction两类 MinorCompaction选取部分小的,相邻的HFile文件进行合并 MajorCompaction是将一个Store中的所有HFile文件合并成一个更大的HFile 2.合并流程HBase启动一个独立线程从对应的Store中选取要合并的HFile 从这些HFile中依次读出KeyValue,进...原创 2020-08-04 10:12:32 · 719 阅读 · 0 评论 -
HBase—依赖服务
1.HBase在Zookeeper创建了以下子节点 meta-region-server:存储HBase集群hbase:meta元数据表所在的RegionServer访问地址 master/backup-masters:集群中的Master备份节点 table:集群中所有表信息 region-in-transition:迁移Region需要对Region执行unassign和assign操作来切换Region状态,RegionServer会在region-in-tran.原创 2020-08-04 08:52:54 · 638 阅读 · 0 评论 -
HBase—读写流程
1.HBase写流程 概述 HBase采用LSM树结构,天生对写更友好,从整体架构来看,有3个阶段 客户端处理阶段:将写请求进行预处理,并根据集群元数据定位写入数据所在的RegionServer,将请求发送给对应的RegionServer Region写入阶段:RegionServer接收写入请求后将数据解析,先写入WAL,再写入对应的Region列簇(Store)的MemStore MemStore的落盘阶段:当MemStore达到原创 2020-08-02 21:29:03 · 149 阅读 · 1 评论 -
HBase—RegionServer详解
1.RegionServer概述 一个RegionServer由一个(或多个,默认只有一个)HLog,一个BlockCache以及多个Region组成: HLog保证数据写入的高可靠性 Region是HBase数据表中的一个数据分片,也是负载均衡的最小单位 BlockCache将数据块缓存在内存提升数据读取性能 2.HLog概述 HLog是为了保证数据的高可靠性,所有数据的增删改操作都会先追加到HLog中再写MemStore HLog是整个RegionSer原创 2020-08-02 21:07:46 · 3731 阅读 · 0 评论 -
HBase—架构篇
1.架构图2.模块说明客户端 HBase客户端提供了shell,JavaAPI,提供非Java语言的的Thrift/Rest API操作,支持常见的DDL和基本的DML操作 Zookeeper 实现Master的高可用 管理系统核心元数据 参与RegionServer的宕机恢复 HBase表操作时的分布式锁 Master 处理用户的各种管理请求,例如切分表,合并数据分片以及Compaction等 管理RegionServer,负载均衡,当即恢复,Region迁移原创 2020-08-02 17:40:14 · 156 阅读 · 0 评论