![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
The Great Ant
做一个功成名就的人
展开
-
2021-05-18
HBase与Hive的对比1.Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。2.HBase(1) 数据库是一种面向列族存储的非关系型数据库。(2) 用于存储结构化和非结构化的数据适用于单原创 2021-05-18 22:08:18 · 164 阅读 · 0 评论 -
2021-05-17
RowKey如何设计1.基于业务需求和四大原则设计1)rowkey唯一原则2)rowkey散列原则3)rowkey长度原则4)rowkey排序原则2.避免热点现象(RowKey的优化)在日常使用中,主要有3个方法来避免热点现象,分别是反转,加盐和哈希。听起来很奇怪,下面咱们逐个举例详细分析:1)反转(Reversing)第一种咱们要分析的方法是反转,顾名思义它就是把固定长度或者数字格式的 rowkey进行反转,反转分为一般数据反转和时间戳反转,其中以时间戳反转较常见。适用场景:比如原创 2021-05-17 22:05:21 · 219 阅读 · 0 评论 -
2021-05-16
HBase存储结构写流程:1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。2)访问对应的Region Server,获取hbase:meta表,根据写请求的namespace:table/rowkey,查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。3)与目标Region Server进行通讯;4)将数据顺序写入原创 2021-05-16 21:31:40 · 46 阅读 · 0 评论