HBase基础简介
HBase产生的背景介绍
- 从1970年开始,大多数公司存储和维护使用的是关系型数据库
- 大数据技术出现后,很多拥有海量数据的公司开始选择像Hadoop的技术来存储海量数据
- Hadoop使用分布式文件系统HDFS来存储海量数据,并使用MapReduce进行处理计算。Hadoop擅长存储各种格式的庞大数据,任意格式甚至非结构化的处理
Hadoop的局限
- Hadoop主要实现批量数据的处理,并且通过顺序方式访问数据
- 要查找数据必须搜索整个数据集,如果要进行随机读取数据,效率较低(或者说不支持)
结论:Hadoop仅适合促进处大批量的数据,进行顺序化读取数据,不支持随机读取数据相关的操作。
HBase的基本介绍
-
NoSQL是一个通用术语,泛指一个数据库并不是使用SQL作为主要语言的非关系型数据库
-
HBase是Big Table的开源Java版本。是建立在HDFS之上,提供高可靠、高性能、列存储、可伸缩、实时读写NoSQL的数据库系统
-
HBase仅能通过主键(rowkey)和主键的range来检索数据,仅支持单行事务
-
主要用来存储结构化和半结构化的松散数据
-
HBase查询数据很简单,不支持join等复杂操作,不支持复杂的事务(行级的事务),从技术上来说,HBase更像是一个数据存储,而不是数据库,因为HBase缺少RDBMS的许多特性,例如带类型的列、二级索引以及高级查询语言等
-
HBase中支持的数据类型:
byte[]
与Hadoop意义,HBase主要依靠横向扩展,通过不断增加廉价的商用服务器来增加存储和处理能力,例如,把集群从10个节点扩展到20个节点,存储和处理能力都会加倍
-
HBase中的表一般有以下特点
- 大:一个表可以有十亿行,百万列
- 面向列:面向列(族)的存储和权限控制,列(族)独立检索
- 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏
HBase的应用场景
- 对象存储
- 不少的头条、新闻类的消息、网页、图片都存储在HBase中,一些病毒公司的病毒库也存储在HBase中
- 时序数据
- HBase上有openTSDB模块,可以满足时序类场景的需求
- 推荐画像
- 用户画像,是一个比较大的稀疏矩阵,蚂蚁金服的风控就是构建在HBase之上
- 时空数据
- 主要是轨迹、气象网格之类的数据,滴滴打车的轨迹数据就主要存储在HBase中,另外在一些数据量大一些的车联网企业,数据也存储在HBase中
- CubeDb OLAP
- 分析工具Kylin的底层cube的数据就是存储在HBase之中,不少用户自己基于离线计算构建cube存储在HBase之中,满足在线报表查询的需求
- 消息/订单
- 在电信、银行领域,不少的订单查询底层的存储,不少通讯、消息同步的应用都构建在HBase之上
- Feeds流
- 典型的应用就是xx朋友圈类型的应用,用户可以随时发布新内容、评论、点赞等
- NewSQL
- HBase之上有Phoenix的插件,可以满足二级索引,SQL的查询,对接传统数据库需要SQL非事务的需求
- 其他
- 存储爬虫数据
- 海量数据备份
- 短网址
- …
HBase的发展历程
年份 | 重大事件 |
---|---|
2006年11月 | Google发布Big Table论文 |
2007年10月 | 发布第一个可用的HBase版本,基于Hadoop 0.15.0 |
2008年1月 | HBase成为Hadoop的一个子项目 |
2010年5月 | HBase成为Apache的顶级项目 |
HBase的特点
- 强一致性读/写:HBase不是”最终一致的“数据存储,它非常适合于诸如高速计数器聚合等任务
- 自动分块:HBase表通过Region分布在集群上,随着数据的增长,区域被自动拆分和重新分布
- 自动RegionServer故障转移
- Hadoop/HDFS集成:HBase支持HDFS开箱即用作为其分布式文件系统
- MapReduce:HBase通过MapReduce支持大规模并行处理,将HBase用作源和接收器
- Java Client API:HBase支持易于使用的Java API进行编程访问
- Thrift/REST API
- 块缓存和布隆过滤器:HBase支持块Cache和Bloom过滤器进行大容量查询优化
- 运行管理:HBase为业务洞察和JMX度量提供内置网页
HBase与RDBMS、HDFS、Hive的区别
HBase | RDBMS | |
---|---|---|
结构 | 1.以表形式存在 2.支持HDFS文件系统 3.使用行键(row key) 4.使用原生支持分布式存储、计算引擎 5.使用行、列、列族和单元格 | 1.数据库以表的形式存在 2.支持FAT、NTFS、EXT、文件系统 3.使用主键(PK) 4.通过外部中间件可以支持分库分表,但底层还是单机引擎 5.使用行、列、单元格 |
功能 | 1.支持向外扩展 2.使用API和MapReduce、Spark、Flink来访问HBase表数据 3.面向列族,即每一个列族都是一个连续的单元 4.数据总量不依赖具体某台机器,而取决于机器数量 5.HBase不支持ACID(Atomicity、Consistency、Isolation、Durability) 6.适合结构化和非结构化数据 7.一般都是分布式的 8.HBase不支持事务,支持的是单行数据的事务操作 9.不支持join | 1.支持向上扩展(买更好的服务器) 2.使用SQL查询 3.面向行,即每一行都是一个连续单元 4.数据总量依赖于服务器配置 5.具有ACID支持 6.适合结构化数据 7.传统关系型数据库一般都是中心化的 8.支持事务 9.支持join |
HBase | HDFS |
---|---|
1.HBase构建在HDFS上,并为大型数据表提供快速记录查找(更新) 2.HBase内部将大量数据放在HDFS中名为StoreFiles的索引中,以便进行高速查找 3.HBase比较适合做快速查询等需求,而不适合做大规模的OLAP应用 | 1.HDFS是一个非常适合存储大型文件的分布式文件系统 2.HDFS它不是一个通用的文件系统,也无法在文件中快速查询某个数据 |
HBase | Hive |
---|---|
1.NoSQL数据库 2.是一种面向列存储的非关系型数据库 3.用于存储结构化和非结构化的数据 4.适用于单表非关系型数据的存储,不适合做关联查询,类似join等操作 5.基于HDFS 6.数据持久化存储的体现形式是Hfile,存放于DataNode中,被RegionServer以Region的形式进行管理 7.延迟较低,接入在线业务使用 8.面对大量的企业数据,HBase可以实现单表大量数据的存储,同时提供了高效的数据访问速度 | 1.数据仓库工具 2.Hive的本质其实就相当于将HDFS中已经存储的文件在MySQL中做了一个双射关系,以方便使用HQL去管理查询 3.用于数据分析、清洗 4.Hive适用于离线的数据分析和清洗,延迟较高 5.基于HDFS、MapReduce 6.Hive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行 |
HBase与hive总结:
- Hive和HBase是两种基于Hadoop的不同技术
- Hive是一种类SQL的引擎,并且运行MapReduce任务
- HBase是一种在Hadoop之上的NoSQL的key/value数据库
- 这两种工具是可以同时使用的。就像用Google来搜索,用Facebook进行社交一样,Hive可以用来进行统计查询,HBase可以用来进行实时查询,数据也可以从Hive写到HBase,或者从HBase写回Hive