![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
daladalabao
把借口减少一半,把围绕目标的行动增加一倍。付出就会有收获,或大或小,或迟或早
展开
-
复习HBase之Region Split
为什么Reigon Split默认情况下,每个Table起初只有一个Region,随着数据的不断写入,Region会自动进行拆分。Region Split时机当一个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize(0.94版本之前);当一个region中的某个Store下所有StoreFile的总大小超过Min(R^2 *“hbase.hregion.memstore.flush.size”,hbase.hregion.ma原创 2022-03-19 16:04:19 · 1974 阅读 · 0 评论 -
复习HBase之StoreFile Compaction
为什么要进行StoreFile Compaction由于MemStore每次刷写都会生成一个新的HFile,且同一个字段的不用版本和不同类型有可能分布在不同的HFile中,因此查询时需要遍历所有的HFile。为了减少HFile的个数,以及清理掉过期和删除的数据。StoreFile CompactionMinor Compaction会把邻近的若干个较小的HFile合并成一个较大的HFile,但是不会清理过期和删除的数据。Major Compaction会把一个Store下所有的HFile合并原创 2022-03-19 15:58:08 · 1002 阅读 · 0 评论 -
复习HBase之读流程
Client访问Zookeeper,获取hbase:meta位于哪个Region Server中访问对应的Region Server,获取hbase:merta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region,并将该表的region信息和meta表的位置信息缓存在客户端的meta cache中方便下次访问和目标Region Server进行通讯夫人你别再Block Cache(读缓存)、MemStore 和Sotre File(HFile)中拆线呢目..原创 2022-03-19 15:50:10 · 875 阅读 · 0 评论 -
复习HBase之写流程
Client访问Zookeeper,获取hbase:meta表在哪个Region Server访问对应的region Server获取到hbase:meta表,根据请求的namespace:table/rowkey查询出目标数据在哪个Region中。并将该表的region信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。和目标Region Server进行通讯将数据写入到WAL将数据写入对应的MemStore,数据会在MemStore进行排序向Client发送ack..原创 2022-03-19 15:40:24 · 1845 阅读 · 0 评论 -
复习HBase之Shell基本操作
list : 查看数据库有哪些表create '表名',‘列族’:创建表put 'table_name','rowkey','columnFamily:Qualifier','value': 添加数据scan table_name :查看表中所有数据指定查询scan 'student',{STARTROW => '1001', STOPROW => '1001'}查看表结构describe 'table_name'更新指定字段的数据put 'studen..原创 2022-03-06 20:38:40 · 1824 阅读 · 0 评论 -
复习HBase之基本概念
HBase是什么HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。适用于随机读写或者随机访问大规模数据集时HBase数据模型逻辑结构物理结构数据模型namespace(命名空间)region:类似于关系数据库中表的概念,HBase定义表时只需声明列族Row:每行数据 都由一个Rowkey和多个Column组成Column:每个Column都由列族和列限定符进行限定例如info:name,info:agetimestamp(时间戳):用于标识数据的不同版本cell原创 2022-03-06 18:51:42 · 2246 阅读 · 0 评论