![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
HBase梳理
数据孤岛
这个作者很懒,什么都没留下…
展开
-
HBase随机读写
HBase随机读写HDFS不太适合做大量的随机读应用,但HBASE却特别适合随机的读写个人理解:1、数据库一般都会有一层缓存,任何对数据的更改实际上是先更改内存中的数据。然后有异步的守护进程负责将脏页按照一定策略刷新到磁盘空间中去。这就可以大大降低软件对于磁盘随机操作的频度。2、HDFS读取会进行全文件查找耗时相当大,而数据库通常会建索引查找起来就快。...原创 2020-11-18 11:46:40 · 641 阅读 · 0 评论 -
HBase的MemStore 刷写时机
MemStore 刷写时机:1、当某个 memstroe 的大小达到了 hbase.hregion.memstore.flush.size(默认值 128M),其所在 region 的所有 memstore 都会刷写。当 memstore 的大小达到了hbase.hregion.memstore.flush.size(默认值 128M)* hbase.hregion.memstore.block.multiplier(默认值 4)时,会阻止继续往该 memstore 写数据。2 、当 regi.原创 2020-10-18 22:33:08 · 255 阅读 · 0 评论 -
HBase的合并与切分
StoreFile Compaction(合并)介绍由于memstore每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的 HFile 中,因此查询时需要遍历所有的 HFile。为了减少 HFile 的个数,以及清理掉过期和删除的数据,会进行 StoreFile Compaction。Compaction分成两类Minor Compaction会将临近的若干个较小的 HFile 合并成一个较大的 HFile原创 2020-10-18 22:11:23 · 374 阅读 · 0 评论 -
HBase读写流程详解
HBase架构图Region ServerRegion Server 为 Region 的管理者,其实现类为 HRegionServer,主要作用如下:对于数据的操作:get, put, delete;对于 Region 的操作:splitRegion、compactRegion。MasterMaster 是所有 Region Server 的管理者,其实现类为 HMaster,主要作用如下:对于表的操作:create, delete, alter对于 RegionServer的操作:分原创 2020-10-18 21:53:49 · 215 阅读 · 0 评论 -
HBase的shell操作(增删改查)
启动HBase[atguigu@hadoop102 hbase]$ bin/start-hbase.sh关闭HBase[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh进入 HBase 客户端命令行[atguigu@hadoop102 hbase]$ bin/hbase shell查看帮助命令hbase(main):001:0> helpDDL(操作表和命名空间本身的增删改查)DML(操作表内部的增删改查)DDL表创..原创 2020-10-11 11:00:04 · 1482 阅读 · 0 评论