数仓工具—Hive执行引擎(18)

最新推荐文章于 2024-08-20 14:37:22 发布
最新推荐文章于 2024-08-20 14:37:22 发布
阅读量5.7w 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Hive 实战 文章标签： 大数据 hive 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/111823588
本文介绍了Hive的两种执行引擎——Tez和Spark。Tez基于DAG，提供比MR更高的效率，文章详细阐述了Tez的安装配置过程。而对于Spark，从1.1版开始，Hive支持使用Spark作为执行引擎，但要注意版本匹配及避免使用集成Hive的Spark jar。文章还提供了配置和使用Spark作为Hive执行引擎的步骤。

Hive 执行引擎

前面我们已经搭建起了Hive 的基础环境，每次当你使用客户端的时候，你就会看到这样的一串日志,提示我们不要再使用MR 去执行hive sql 了

Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.

hive-execution

Tez

tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右，大任务7-10倍左右，根据情况不同可能不一样。

Tez 安装配置

因为我用的是idea ，所以我先将源代码导入到了idea 中去，代码的git 地址https://github.com/apache/tez

然后使用hadoop version 看了一下我的版本，调整了一下po

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据之数仓及Hive介绍
weixin_43339889的博客
10-30 1246
Hive介绍
数仓工具Hive简介、安装及基本使用梳理总结
u012732010的博客
02-16 1115
近几日学习大数据相关内容，将数仓工具Hive简介、原理安装及基本使用进行梳理总结
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 6182
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
一劳永逸解决Hive执行insert命令调用MR任务报错问题
03-11 6487
一劳永逸_解决Hive执行insert指令集调用MapReduce任务的报错问题
Hive实战
qq_56870570的博客
06-21 2569
一、Hive 概述 1.1 Hive 是什么 由Facebook开源用于解决海量结构化日志的数据统计 基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并且提供类SQL的查询功能 Hive仅仅是一个工具，本身不存储数据只提供一种管理方式，同时也不涉及分布式概念，就是个软件而已 Hive本质就是MapReduce，将类SQL（HQL）转换成MapReduce程序 1.1.1 HQL转换MR流程 解释： Hive处理的数据存储在HDFS Hive分析数据底层默认实现是Ma
Hive引擎
XuXuemin的专栏
08-29 1813
Hive引擎介绍及Tez引擎的使用配置
配置Hive使用Spark执行引擎
积跬步，至千里。
10-10 5625
在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
- 执行引擎与优化器：可以选择Tez或Spark作为执行引擎，优化查询计划以提高性能。 - 其他参数：如hive.exec.compress.output控制是否压缩输出，hive.auto.convert.join决定自动转换内连接的条件。 通过以上内容的...
数仓工具Hive必知必会
JayLaiSCUT的博客
07-26 545
1 Hive架构图 1.1 客户端 用户通过客户端访问Hive，简单查询一般在Linux上使用belline进行交互；对于Java程序，可以通过JDBC访问Hive。 1.2 Metastore 元数据相关，Hive默认存储在Derby数据库，缺点用户不能同时执行两个Hive CLI实例，因此实际生产中常常使用Mysq进行替代。 1.3 解析器、编译器、优化器和执行器 1）解析器：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段
hive执行引擎区别
weixin_61938673的博客
08-20 670
Hive 的执行引擎包括以下几种：MapReduce：Hive 最早使用的执行引擎是基于 Hadoop MapReduce 的。它将 Hive 查询转化为一系列的 MapReduce 任务进行并行执行。MapReduce 引擎适用于处理大规模数据集，具有良好的容错性和扩展性，但由于磁盘读写和中间结果的持久化，可能在性能和响应时间方面受到影响。Tez：Hive 可以使用 Apache Tez 作为执行引擎来加速查询处理。Tez 是一个用于高效执行大规模数据处理任务的执行框架。
Hive底层执行引擎的深度剖析（免费）
naixuejiaoyu的博客
06-02 628
一、装备升级 作为一个数据仓库工程师，你在职场中是不是日趋频繁使用数仓工具Hive？ 作为一个进阶SQLer，你是否仰望着大数据计算的技术圣殿感到举步维艰？ 作为一个ETL工程师，你是否觉得MapReduce的出现大大简化了编程难度？ 作为一个游刃有余的BI运维工程师，你是否对HQL转换为MapReduce还是一知半解？ 我相信，抱着「知其然而不知其所以然」的心态，即使翻阅了各类百科、教程、问答、博客…五花八门的讲解依然让你不能全面掌握这一方面的系统知识。那么，这里有一份由前58集团技术委员会主席—孙玄、前
Hadoop学习笔记：数据分析引擎Hive
BigPig的博客
01-16 8033
概述 Hive是一个构建在Hadoop之上的数据仓库，和传统的数据仓库一样主要用来访问和管理数据，提供了类SQL查询语言；和传统数据仓库不一样的是可以处理超大规模的数据，可扩展性和容错性非常强。 Hive是由FaceBook开源的分布式数据分析引擎，它把SQL语句转化成MapReduce作业提交到Hadoop上运行并返回结果。 Hive可以做日志分析（包括统计网站一个时间段内的pv、uv），海量结...
Hadoop的数据分析引擎：Hive
小鹏的专栏
05-05 1617
数据分析的引擎：1、Hive  ---> 属于Hadoop，支持SQL   Pig   ---> 属于Hadoop，支持PigLatin   2、Spark SQL ---> 类似Hive，支持SQL和DSL3、（了解）Impala一、什么是Hive？ 1、Hive是一个翻译器，SQL ---> Hive引擎  ---> MR程序 2、Hive是构建在HDFS上的一个...
Hive的3种执行引擎区别与适用场景
qq_45952294的博客
12-06 7788
1. Hive的3种执行引擎适用场景 ● Hive底层的计算由分布式计算框架实现,目前支持三种计算引擎,分别是MapReduce、Tez、 Spark。 ● Hive中默认的计算引擎是MapReduce ,由hive. execution. engine参数属性控制。 MapReduce引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。 Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘
大数据之Hive（四）：Hive计算引擎
Oak_Komorebi的博客
08-17 1687
目前Hive支持MapReduce、Tez和Spark 三种计算引擎。 4.1 MR计算引擎 MR运行的完整过程： Map在读取数据时，先将数据拆分成若干数据，并读取到Map方法中被处理。数据在输出的时候，被分成若干分区并写入内存缓存（buffer）中，内存缓存被数据填充到一定程度会溢出到磁盘并排序，当Map执行完后会将一个机器上输出的临时文件进行归并存入到HDFS中。 当Reduce启动时，会启动一个线程去读取Map输出的数据，并写入到启动Reduce机器的内存中，在数据溢出到磁盘时会对数据进行再
Hive的存储引擎和计算引擎
My_wife_QBL的博客
08-01 981
存储引擎是指负责数据的存储、管理和读取的组件。数据存储：将数据持久化到分布式文件系统（如HDFS）中。数据格式支持：支持不同的数据格式（如TextFile、Parquet、ORC、Avro等）。数据分区与分桶：提供数据的分区和分桶机制，以提高查询效率。元数据管理：管理表结构、列信息、分区信息等元数据。计算引擎是指负责执行HiveQL查询、处理数据并生成结果的组件。查询解析：将HiveQL查询解析为逻辑计划。查询优化：对逻辑计划进行优化，生成物理计划。执行计划生成。
Hive环境调优总结，hive3大执行引擎区别在哪？
hellojoy的博客
01-28 1814
https://wjrsbu.smartapps.cn/zhihu/article?id=252288440&isShared=1&hostname=baiduboxapp&_swebfr=1 问题：hive 中count(*) 结果不准确？ 场景：hive 中建表， stored as parquet tblproperties ("parquet.compression"="lzo")； 从ods层导入数据，先进行全表检索。select * from dwd_fact.
PyCharm整合Hive并通过SparkSQL执行引擎去操作Hive表
小柒心得
07-08 807
使用SparkSQL整合Hive其实就是让SparkSQL去加载Hive 的元数据库，然后通过SparkSQL执行引擎去操作Hive表
Hive的计算引擎，你知道哪几种？
日常分享数据分析开发、编程语言内容
02-26 2923
Hive支持MapReduce、Tez和Spark 三种计算引擎。
离线数仓hive的结构导图
最新发布
03-04
### 关于离线数据仓库 Hive 的架构 #### Hive 架构概述 Hive 是专为处理大规模结构化数据设计的一种数据仓库工具，其架构旨在简化基于 Hadoop 生态系统的数据分析工作。通过提供类似于 SQL 查询语言(HQL)，使得熟悉关系型数据库管理系统(RDBMS)的开发者能够更高效地编写查询语句来分析存储在分布式文件系统中的海量数据集[^1]。 #### Hive 主要组件解析 - **用户接口(User Interface)** 包括CLI(Command Line Interface), JDBC/ODBC, 和 Web GUI等多种方式供用户提交SQL/HQL命令给Hive服务端执行。 - **编译器(Compiler)** 负责接收来自UI或其他API传入的查询请求，并将其转换成可以在MapReduce框架内运行的任务序列；同时负责优化这些任务以提高性能表现。 - **元数据存储(MetaStore)** 存储有关表定义的信息（如列名、类型等），以及分区详情和其他辅助信息。Metastore可以部署在一个独立的关系型数据库实例中以便更好地管理和维护。 - **执行引擎(Execution Engine)** 接收由编译器产生的逻辑计划并映射至物理层面的操作符树，最终生成一系列可被执行的具体动作，通常会转化为MapReduce作业或者其他计算模型下的任务形式去完成实际的数据处理过程。 ```mermaid graph TD; A[Hive Architecture] --> B[User Interfaces]; A --> C[Compiler]; A --> D[MetaStore]; A --> E[Execution Engine]; B -->|Includes| F[Cli], G[JDBC/ODBC], H[Web UI]; C --> I[Query Parsing & Optimization]; D --> J[Table Definitions and Partitions Info]; E --> K[Task Execution via MapReduce or Tez etc.]; ``` 此架构图展示了 Hive 各主要组成部分之间的交互流程及其功能定位，有助于理解整个系统的工作原理和内部机制。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值