图解hive运行机制

于 2017-03-18 14:18:52 发布 3973 收藏 1
分类专栏： 图解大数据 文章标签： hadoop集群 mapreduce hive yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_35045195/article/details/63253528
版权

Hive是构建在Hadoop之上的数据仓库平台，它的创造是为了让非Java程序员更方便使用MapReduce

它的架构如下图所示：


它的运行流程如下图：


Hive创建的表的元信息存在于结构型数据库之内（这个数据库可以是自带的Derby数据库也可以是用户自己安装的数据库），而表中的内容存在于HDFS之中，用户输入SQL语句之后进行编译，然后在模板库找到对应的模板组装，最后交给Yarn运行，最后附带一张Yarn执行mapreduce任务的解释图




天心有情
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hive优化以及执行原理
11-20
Hive优化以及执行原理，一位前辈总结的hive知识，个人觉得非常有用，资源难找，现在贡献给大家，独乐乐不如众乐乐。
hive的运行原理
shyming's blog
08-27 345
组成及作用： 用户接口：ClientCLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore Hadoop 使用HDFS进行存储，使用MapReduce进行计算 驱动器：Driver （1）解析器（SQL Parser）.
Hive教程(一) Hive入门教程
热门推荐
yuan_xw的专栏
10-10 6万+
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 在Hive中，Hive是SQL解析引擎，它将SQL语句转译成M/R
Hive的架构原理以及运行原理
weixin_44516261的博客
10-02 887
Hive的架构原理 一、客户端：Hive是Mapreduce的客户端，Hive的客户端有两种方式： CLI：命令行的方式 JDBC:这种我们也可以通过java代码来实现，不过一般不这样做。 二、四个器 解析器：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，解析器是对sql的语法，表是否存在，以及字段是否存在做检查，hql通过了解析器就说明语法上没有问题 编译器:根据AST生成执行计划 优化器：对逻辑执行计划进行优化 执行器：将逻辑执行计划转换为可以运行的物理计划，对于hive
Hive处理数据基本操作流程
会撸代码的懒羊羊
03-31 3460
Hive数据处理的详细流程
Hive架构简述及工作原理
最新发布
qq_48363187的博客
10-15 1566
Hive是基于Hadoop的一个数据仓库管理工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL（HQL）查询功能。本质是将SQL转换为MapReduce程序（默认）。直接使用Hadoop MapReduce处理数据所面临的问题： 学习成本高，MapReduce实现复杂查询功能开发难度大，使用Hive接口采用类SQL语法，提供快速开发的能力避免了去写MapReduce，减少开发人员的学习成本功能。
Hive 的运行机制
禧年
09-28 1293
一、Hive 架构图 二、运行机制图 流程大致步骤为： 用户提交查询等任务给Driver。 编译器获得该用户的任务Plan。 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。 将最终的计划提交给Driver。 Driver将计
Hive运行机制与原理
XuXuemin的专栏
08-15 369
Hive的运行原理，包括服务组件介绍，存储格式、压缩格式等的实践总结
Hive内部运行机制
qigemantou的博客
06-19 678
首先介绍下hive的概念            hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduc...
Hive项目流程总结
qq_51628990的博客
08-08 365
解决方法： 使用java程序读取源文件，将每个单元格以用户无法输入的字符（\001）作为分隔符，从而使hive正确分隔数据。SerDe 是 Serializer/Deserializer 的简写，本质是一个java程序，hive用它来处理源文件，将源文件中的数据映射到一张表中。在hive中创建两张表weibo_origin、weibo_product，第一张表装载可被hive正确识别的数据文件，第二张表装载第一张表清洗后的数据。从hive中导出想要的数据，并加载到mysql中。...
Hive原理与工作机制
weixin_44389522的博客
11-19 690
Hive原理与工作机制 目录Hive原理与工作机制一、Hive是什么？二、Hive解决了怎样的问题三、HIve相关组件1.服务端组件2.客户端组件四、hive查询执行过程 一、Hive是什么？ hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 二、Hive解决了怎样的问题 在Had
hive的运行过程解析
相由心生-心随相改~
02-13 1473
数据的底层存储是文件 hive的计算框架是mapreduce，所以我们先了解下mapreduce的原理 图上是整个mapreduce的运行过程，在各自的分片中，都是把数据分割以后每个值都对应一个1得到<key,1>，再经过本地reduce（combine过程）把key一样的value=1相加，得到新的<key，values>，再经过shuffle过程，把所有分片中的<key,values>,key一致的values相加，又得到最终的...
Hive概述及其基本原理
weixin_41812379的博客
11-07 2010
Hive是一个基于Hadoop的数据仓库工具, 可以将结构化的数据文件映射为一张表, 并提供类似于SQL的查询功能。 Hive本身并不存储和处理数据，更像是一个接口，存储由HDFS实现，处理数据由MapReduce实现。简单来说，Hive可以将sql语句转换为MapReduce任务， 在HDFS上进行数据查询。 Hive的特点 Hive采用类SQL开发，简单容易上手，避免了编写MapReduce的工作 Hive执行延迟比较高，无法胜任实时的工作（OLTP），大多用于数据分析工作（OLAP）。 Hive擅长
Hive(五) -- Hive执行流程、数据倾斜和优化
BubbleMa
12-14 642
Hive的数据倾斜实际上就是MR的数据倾斜
hive的结构和执行流程
qq_42456324的博客
06-24 1707
hive的结构 hive执行流程 a. 通过用户接口组件，如命令行方式、页面操作方式或不同驱动程序（JDBC、ODBC等）的客户端，向Hive Driver发送执行命令。目的是获取查询结果。 b. 获取查询计划，Driver拿到执行命令后，会向Complier（编译器）获取查询计划 c. 获取元数据信息，编译器生成查询计划，首先要获取相关的元数据信息。此步骤为编译器向元数据组间获取元数据信息。 d. 元数据组间向编译器发送元数据信息 e. 编译器根据获取元数据信息生产计划计划 f.
图文详解 Hive 的工作原理
Shockang的博客
06-20 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 Hive 建立在 Hadoop 之上，那么它和 Hadoop 之间是如何工作的呢?接下来，通过一张图来描述，具体如图所示。 接下来，针对图中 Hive 和 Hadoop 之间的工作过程进行简单说明，具体如下。 UI 将执行的査询操作发送给 Driver 执行。 Driver 借助查询编译器解析查询，检
Hive 架构原理 运行机制
Simple 专栏
10-09 2889
Hive 架构图 如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。 1．用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc...
Hive运行原理
夫唯不争，故天下莫能与之争。
09-18 3422
http://www.it165.net/pro/html/201606/70010.html
hive体系结构和执行流程
licw_0909的博客
01-08 2572
HIVE是什么？ Hive是hadoop上处理结构化数据的数据仓库基础工具，用来处理存储在hadoop上的海量数据,使用hive可以使查询和分析变得更简单。 Hive起初是有facebook开发,后来贡献给apache基金会的，apache对它做了进一步的开发并开源。   Hive不合适做哪些事情？ 1.hive不是一个关系型数据库 2.Hive不适合做为在线事务处理(OLTP)的系统
Hive 执行流程图 源码入口
Royce Wang专栏
07-29 4915
图片地址 ：http://hi.csdn.net/attachment/201107/29/0_1311922740tXqK.gif CliDriver可以说是hive的入口，对应上图中的UI部分。大家看它的结构就可以明白了，main（）函数！对！你猜的没错就是从main（）开始。 下图是类结构，总共有五个关键的函数。 这个类可以说是用户和hive交互的平台，你可以把它认为是hi

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天心有情

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值