HBase
文章平均质量分 79
b1gx
这个作者很懒,什么都没留下…
展开
-
HBase 之Rowkey设计
Rowkey的作用 Rowkey用于标识唯一的行 HBase中的数据都是根据Rowkey的字典序存储的,比如memstore中的数据和HFile中的数据 读写数据都需要通过Rowkey来定位Region Rowkey的设计原则 长度原则 rowkey可以是任意字符串,最大长度64Kb,实际应用中一般为10-100bytes,以byte[]形式保存,一般设计成定长。且越短越好,一般不要超过16个...原创 2020-01-15 08:11:52 · 401 阅读 · 0 评论 -
HBase的合并操作
compact的作用 flush操作会将memstore的数据落地为一个个StoreFile(HFile),那么随着时间的增长在HDFS上面就会有很多的HFile文件,这样对读操作会产生比较大的影响(读操作会对HFile进行归并查询),并且对DataNode的压力也会比较大。为了降低对读操作的影响,可以对这些HFile进行compact操作,但是compact操作会产生大量的IO,所以可以看出co...原创 2020-01-14 16:50:47 · 2156 阅读 · 0 评论 -
HBase中数据落地到磁盘的几个时刻
HBase的数据都是先写到memstore中,然后才会flush到磁盘,那么什么时候会触发memstore的flush? 一、从memstore来看 当一个region的memstore中缓存的数据达到memstore的大小时,会触发memstore级别的flush操作。memcache的size由参数hbase.hregion.memstore.flush.size指定,默认是128M。一般需要...原创 2020-01-14 13:10:12 · 664 阅读 · 0 评论