HBASE 笔记

HBASE

列式存储，nosql数据库 读取数据不会产生冗余，写效率差，不能保证数据的完整性
海量存储稀疏数据，快速随机访问，可以并行大量改写
三维有序：rowKey,列族，时间戳
region存储数据（表的一部分）
regionServer存储多个region
逻辑概念 regionServer region
物理概念 HregionServer Hregion
region 自动分裂默认10G(hbase.hregion.max.filesize)，也可以手动分裂
行锁，粒度较粗
Hregion存储着表的Colume family,由多个Hstore构成，Hstore包含MemStore和storeFile
MemStore主要用于写缓存，当数据达到128M的时候Flash数据到磁盘成为一个StoreFile
region 太多增加zk的负担，造成读写能力的下降;太少压力不够分散,降低并发性能
region 分裂 在空闲时间进行手动分裂
架构（client、HMaster、HRegionServer、Zookeeper）
HMaster：负载均衡，管理HRegion，管理Table元数据，权限控制
HRegionServer：管理本地的HRegion，读写HDFS，维护Table数据
本地化原则
zookeeper 提供心跳机制 在Hmaster和zk之间 Hmaster与HRegionServer之间
寻址：client对HBASE进行操作的是时候，是通过zk找到具体的HRegion地址，同时client也会缓存 rowKey —> HRegion之间的映射
MemStore 写缓存，每一个CF都有自己的MemStore,BlockCache:读缓存，提高读取效率
HLog(WAL)日志避免数据丢失，先写日志在写MemStore
HBase表设计：
rowKey: 倒序+加密，负载均衡，均匀访问 eg:ip倒序
长度：<= 64k 越短越好，64位机器，8个字节对齐，以8个字节的整数倍获得最佳性能
分散：rowKey 的设计散列信息
唯一
CF：最好一到二个，当CF数据Flash到磁盘的时候(Menstore到达64M的时候)，
其他CF会被关联产生flash,CF设计过多一旦出现连锁反应会产生很多的IO，性能问题