关闭

什么是Hive

385人阅读 评论(0) 收藏 举报
分类:

Hive 是建立在 Hadoop  上的数据仓库基础构架。

它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

Hive 定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉 SQL  的用户查询数据。

同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的 mapper  和 reducer  来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Hive是SQL解析引擎,它将SQL语句转译成M/R Job然后在Hadoop执行。

Hive的表其实就是HDFS的目录,按表名把文件夹分开。如果是分区表,则分区值是子文件夹,

可以直接在M/R Job里使用这些数据。

Hive 相当于hadoop的可视化工具,如Mysql的可视化工具Navicat for MySQL,

oracle的可视化工具PLSQLDeveloper它可以起很多个,而且起不同版本的。

只要环境参数配置好了。就像Navicat for MySQL和sqldeveloper可以开多个。

Hive的数据存储基于Hadoop HDFS

Hive没有专门的数据存储格式存储结构主要包括:数据库、文件、表、视图、索引。
Hive默认可以直接加载文本文件(TextFile),还支持SequenceFile、RCFile。




0
0
查看评论

Hive到底是什么

写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。  Hive最初是应Facebook每天产生的...
  • w397090770
  • w397090770
  • 2013-12-18 11:55
  • 5384

Hive是什么,Hive与关系型数据库的区别

Hive是什么,Hive与关系型数据库的区别? ⑴Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类sql语句的查询功能; Hive使用Hql作为查询接口,使用HDFS存储,使用mapreduce计算; Hive的本质是将Hql转化为mapreduce; ⑵区...
  • qq_15103205
  • qq_15103205
  • 2017-06-08 13:12
  • 3466

Hive的UDF是什么?

首先我们学习hadoop的时候,为了让我们不太会java语言但是对SQL很熟悉的工程师能够操作基本的mapreduce计算过程,Hive被设计出来了。Hive就好比是hadoop在执行MR(mapreduce)程序的一个操作系统,因为我们可以用简单的SQL语句去代替复杂的MR程序,因为Hive可以将...
  • YQlakers
  • YQlakers
  • 2017-04-17 15:18
  • 1976

Hive窗口函数

Hive窗口函数
  • qq_26937525
  • qq_26937525
  • 2017-02-08 13:34
  • 6033

让你真正明白什么是hive

导读: 对于一个事物的认识,存在几种情况 1.没有接触,不知道这个事物是什么,所以不会产生任何问题。 2.接触了,但是不知道他是什么,反正我每天都在用。 3.有一定的了解,不够透彻。 那么hive, 1.我们对它了解多少? 2.它到底是什么? 3.hive和hadoop是什么关系? ...
  • JIAOSHOUJIE
  • JIAOSHOUJIE
  • 2014-07-12 11:22
  • 1041

数据仓库——Hive入门介绍

一,什么是Hive:1.Hive是建立在Hadoop HDFS上的数据仓库基础架构; 2.Hive可以用来进行数据提取转化加载(ETL) 3.Hive定义了简单的类似SQL查询语言,称为HQL它允许熟悉SQL的用户查询数据 4.Hive允许熟悉MapRduce开发者的开发自定义的mapper和red...
  • s646575997
  • s646575997
  • 2016-05-20 11:35
  • 627

Hive Driver 原理

Hive 的Driver 是hive的一个组件,负责将hive  sql 解析和优化HQL语句,将其转换成一个Hive Job(可以是MapReduce,也可以是Spark等其他任务)并提交给Hadoop集群。 SQL转化为Hiv...
  • yanshu2012
  • yanshu2012
  • 2017-02-09 11:23
  • 590

有Mysql数据库的情况下为什么要用Hive数据库?

有Mysql数据库的情况下为什么要用Hive数据库?最近接到公司的一个需求,要求使用Hive数据库做数据查询。当时第一反应就是What?Hive是什么鬼?一脸懵逼状。(请原谅一个刚开始实习的Java实习生见识短浅)然后发现了hive数据库的一些问题。下面简单介绍一下Hive。网上对于hive与mys...
  • nxw_tsp
  • nxw_tsp
  • 2017-01-10 16:07
  • 3264

Shuffle过程介绍

阅读目录 MapReduce的Shuffle过程介绍Spill过程SortSpillMergeCopyMerge SortShuffle WriterShuffle FetcherShuffle后续优化方向MapReduce Shuffle后续优化方向Spark Shuffle后续优化方向 ...
  • pengweid
  • pengweid
  • 2015-05-03 12:50
  • 2706

Hive 1、什么是Hive,Hive有什么用

一、什么是Hive   Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查...
  • u011596455
  • u011596455
  • 2017-08-04 09:12
  • 151
    个人资料
    • 访问:555850次
    • 积分:9314
    • 等级:
    • 排名:第2344名
    • 原创:382篇
    • 转载:205篇
    • 译文:0篇
    • 评论:33条