HBase
HBase
火树银花之处
努力追求卓越、成功就会出其不意的找上门来.
展开
-
HBase数据读取流程
HBase数据读取流程 一、数据读取流图 client发起数据查询 client从zk获取hbase:meta表的位置(位置是一个regionServer的地址) 根据从zk获取的hbse:meta表的位置访问对应的regionServer,并且将hbase:meta表数据缓存到内存中,然后根据rowkey从meta表中获取对应region及regionServer的位置 client直接同region所在的regionServer通信,获取数据 ...原创 2020-05-22 15:24:52 · 301 阅读 · 0 评论 -
Hbase数据写入流程
1、组件架构图 2、相关概念 1)Region table在行的方向上分隔为多个Region,或者说是根据rowkey分割。Region是HBase中分布式存储和负载均衡的最小单元,即不同的region可以分别在不同的Region Server上,但同一个Region是不会拆分到多个server上。Region按大小分隔,表中每一行只能属于一个region。随着数据不断插入表,regi...原创 2020-04-21 20:59:22 · 1611 阅读 · 0 评论 -
Hbase协处理器简介
Hbase协处理器简介 使用协处理器的风险:直接在RegionServer上运行,直接接触数据,轻则影响集群的性能和稳定性,重则破坏数据; 系统协处理器针对整个集群,表协处理器只针对某张表; ...原创 2020-02-08 14:33:52 · 224 阅读 · 0 评论 -
Hbase基本优化策略
Hbase基本优化策略 重点 1、适当增大regionServer的内存 2、配置文件根据以下属性优化: Hbase写优化: 1)Hbase写数据是先写入memStore,然后写入Hlog中,可以考虑同步批量提交或者异步批量提交,异步批量提交可能存在数据丢失的风险; 2)WAL预写日志优化,是否必须,持久化等级,如果可以接受数据部...原创 2020-02-06 17:04:51 · 248 阅读 · 0 评论 -
Hbase基本操作
Hbase基本操作 查询整个列蔟:scan 'testTable',{COLUMN=>'cf'} 查询列蔟中的一列:scan 'testTable',{COLUMN=>'cf:a'} 查询某个rowid的值:get 'testTable','rowid1' 查询某个rowid中的某个列蔟的值:get 'testTable','rowid1','cf' 查询某个rowi...原创 2020-02-06 14:07:27 · 158 阅读 · 0 评论 -
Hbase入门及简介
Hbase入门及简介 hbase是CP型; 行式数据库与列式的区别: 1)存储区别 行式数据库:数据在磁盘上是一行一行连续存储的, 列式数据库:数据在磁盘上是一列一列连续存储的; 2)查询(读取)区别 行式数据库可能会涉及所有的行或者所有的列,严重消耗IO 列式数据库只会涉及对应的列,极大降低了IO 3)...原创 2020-02-05 21:27:46 · 287 阅读 · 0 评论