hive和hbase 结合使用

本文对比了Hive和HBase在数据仓库和数据库领域的应用,强调Hive适合数据分析清洗,而HBase适合低延迟的在线业务。在最新版本中,Hive与HBase的集成存在兼容性问题,需要手动编译hive-hbase-handler-1.2.2.jar并放入Hive的lib目录,同时配置hive-env.sh和hive-site.xml。通过Hive可以创建与HBase映射的表,并实现数据的双向同步。
摘要由CSDN通过智能技术生成

hive和hbase对比

1. hive

(1) 数据仓库

	Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,
	以方便使用HQL去管理查询。

(2) 用于数据分析、清洗

	Hive适用于离线的数据分析和清洗,延迟较高。

(3) 基于HDFS、MapReduce

	Hive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。

2. HBase

(1) 数据库

	是一种面向列存储的非关系型数据库。

(2) 用于存储结构化和非结构化的数据

	适用于单表非关系型数据的存储,不适合做关联查询,类似JOIN等操作。

(3) 基于HDFS

	数据持久化存储的体现形式是Hfile,存放于DataNode中,被ResionServer以region的形式进行管理。

(4) 延迟较低,接入在线业务使用

	面对大量的企业数据,HBase可以直线单表大量数据的存储,同时提供了高效的数据访问速度。

提示:HBase与Hive的集成在最新的两个版本中无法兼容。所以,我们只能含着泪勇敢的重新编译:hive-hbase-handler-1.2.2.jar ,并把编译好的jar包放到hive的lib目录下 (不知道怎么上传jar包,

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值