HIVE数据仓库工具详解

一、hive是什么?
我们听说过很多的编程语言例如C、C++、java、python、php等等一系列的编程语言,这些语言都被许许多多的程序员运用到开发当中了,而sql语言也作为一种语言它没有被运用到实际开发中,而只是进行数据库的操作,那么能不能让回sql的人也可以去处理大数据,不会写mr的人也可以去处理大数据?这里我要介绍的hive就是这样为了解决这个问题而存在的。
hive就是基于Hadoop的一个数据仓库工具,它是建立在hadoop上的数据仓库基础构架,提供了简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,在我看来,这个hive就是hadoop的一个数据库,就类似我们的mysql以及oracle,它也有表,也有表数据,也可以进行基本的增删改查。

二、hive的工作原理
首先我们hive经过mysql语句去查询数据后,将查询条件查询出的结果进行解析、优化、编译、执行四个步骤将它转化为MapReduce,而我们要查询的表就存放在我们的hdfs中,hive是依赖于hadoop的所以整个hive其实就是mapreduce和hdfs的结合。
解析:就是找出语句中的关键字
优化:将select语句进行优化,形成树
编译:将select重新编译,形成相应的逻辑计划
执行:将逻辑计划进行实现转变成物理计划,也就是MapReduce
hive的数据存放位置有三种搭建方式
1.derby 就是hive的内部数据库,这个数据库不能多人访问
2.本地数据库 这个数据库也就是我们常用的数据库搭建
3.存放在外部数据库,也就是我们使用mysql等数据库去存放,这种方式比较安全
hiv

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值