HBase-与Hive的区别、与Sqoop的集成

本文对比了HBase和Hive在数据仓库、数据分析、存储方式和延迟性能上的区别,并详细介绍了如何通过Sqoop将关系型数据库的数据导入到HBase中,包括配置步骤和手动创建HBase表的解决方案。
摘要由CSDN通过智能技术生成

1HBase 与 Hive 的对比

Hive:

1)、数据仓库

Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方 便使用 HQL 去管理查询。

2)、用于数据分析、清洗

Hive 适用于离线的数据分析和清洗,延迟较高。

3)、基于 HDFS、MapReduce

Hive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执行。

HBase:

1)、数据库

是一种面向列存储的非关系型数据库。

2)、用于存储结构化和非结构话的数据

适用于单表非关系型数据的存储,不适合做关联查询,类似 JOIN 等操作。

3)、基于 HDFS

数据持久化存储的体现形式是 Hfile,存放于 DataNode 中,被 ResionServer 以 region 的形式 进行管理。

4)、延迟较低,接入在线业务使用

面对大量的企业数据,HBase 可以直线单表大量数据的存储,同时提供了高效的数据访问速 度。

2、与 Sqoop 的集成

之前我们已经学习过如何使用 Sqoop 在 Hadoop 集群和关系型数据库中进行数据的导入导出 工作,接下来我们学习一下利用 Sqoop 在 HBase 和 RDBMS 中进行数据的转储。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值