![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
FangStar8Jeff
这个作者很懒,什么都没留下…
展开
-
SparkRDD 读写HBase
首先导入POM依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache原创 2021-04-23 16:48:36 · 284 阅读 · 0 评论 -
HBase与Hive的对比
1.Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。2.HBase(...原创 2020-03-25 16:53:27 · 192 阅读 · 0 评论 -
HBase的读写流程
HBase读数据流程如图3所示图3所示 HBase读数据流程1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;2)根据namespace、表名和rowkey在meta表中找到对应的region信息;3)找到这个region对应的regionserver;4)查找对应的regi...原创 2020-03-25 16:38:19 · 3310 阅读 · 0 评论 -
HBase复习
HBase的特点1)海量存储Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性,才为海量数据的存储提供了便利。2)列式存储这里的列式存储其实说的是列族存储,Hbase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。3)极...原创 2020-03-25 16:35:09 · 258 阅读 · 0 评论 -
HBase的表设计与rowKey设计
HBase 一张表须要有 row key ,而 rowkey 是按照 ASCII 码来排序的,这就像关系型数据库的索引一样, row key 的规则限制了读取数据的方式。如果业务方需要使用另一种读取数据的方式,就必须重新输出 row key 。从这个角度来看, HBase 没有关系型数据库方便。但是 Base 张表能够存储TB 甚至几十 TB 的数据,而关系型数据库必须要分库分表才能实现这个量级...原创 2019-07-10 15:01:37 · 426 阅读 · 0 评论