数仓工具—Hive执行引擎(18)

最新推荐文章于 2024-05-10 15:19:29 发布
最新推荐文章于 2024-05-10 15:19:29 发布
阅读量5.7w 收藏 1
点赞数 2
分类专栏： # Hive 文章标签： 大数据 hive 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/111823588
版权

Hive 执行引擎

前面我们已经搭建起了Hive 的基础环境，每次当你使用客户端的时候，你就会看到这样的一串日志,提示我们不要再使用MR 去执行hive sql 了

Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.

hive-execution

Tez

tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右，大任务7-10倍左右，根据情况不同可能不一样。

Tez 安装配置

因为我用的是idea ，所以我先将源代码导入到了idea 中去，代码的git 地址https://github.com/apache/tez

然后使用hadoop version 看了一下我的版本，调整了一下pom 中的版本配置，本来是3.1.3 的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
Hive底层执行引擎的深度剖析（免费）
naixuejiaoyu的博客
06-02 554
一、装备升级 作为一个数据仓库工程师，你在职场中是不是日趋频繁使用数仓工具Hive？ 作为一个进阶SQLer，你是否仰望着大数据计算的技术圣殿感到举步维艰？ 作为一个ETL工程师，你是否觉得MapReduce的出现大大简化了编程难度？ 作为一个游刃有余的BI运维工程师，你是否对HQL转换为MapReduce还是一知半解？ 我相信，抱着「知其然而不知其所以然」的心态，即使翻阅了各类百科、教程、问答、博客…五花八门的讲解依然让你不能全面掌握这一方面的系统知识。那么，这里有一份由前58集团技术委员会主席—孙玄、前
Hadoop学习笔记：数据分析引擎Hive
BigPig的博客
01-16 7896
概述 Hive是一个构建在Hadoop之上的数据仓库，和传统的数据仓库一样主要用来访问和管理数据，提供了类SQL查询语言；和传统数据仓库不一样的是可以处理超大规模的数据，可扩展性和容错性非常强。 Hive是由FaceBook开源的分布式数据分析引擎，它把SQL语句转化成MapReduce作业提交到Hadoop上运行并返回结果。 Hive可以做日志分析（包括统计网站一个时间段内的pv、uv），海量结...
Hive引擎
XuXuemin的专栏
08-29 1647
Hive引擎介绍及Tez引擎的使用配置
Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions
2301_77033583的博客
05-10 728
然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎。中已弃用，并且在未来版本中可能不可用。经过查找资料，网友们发现将Hive设置成本地模式来执行任务允许你使用MapReduce。版本中已经不支持MapReduce了，让你换为Spark或Tex。那我要是就不想换，你还能不让我不用MapReduce了？我们发现，这就很明显了，说明Hive在。修改配置后需要重启Hive。
Hive_引擎MR、Tez、Spark
qq_56870570的博客
08-20 5826
1.Hive引擎简介 Hive引擎包括：默认MR、Tez、Spark 不更换引擎hive默认的是MR。 Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 2. Spark引擎 2.1HiveonSpark配置 1）兼容性说明 注意：...
配置Hive使用Spark执行引擎
积跬步，至千里。
10-10 4524
在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
03-24
- 执行引擎与优化器：可以选择Tez或Spark作为执行引擎，优化查询计划以提高性能。 - 其他参数：如hive.exec.compress.output控制是否压缩输出，hive.auto.convert.join决定自动转换内连接的条件。 通过以上内容的...
电商数仓项目(十) Hive安装与配置.rar
03-26
Tez是Hadoop生态系统中的一个任务调度框架，它可以替代MapReduce作为Hive的执行引擎，提供更高效、灵活的查询执行。相比MapReduce，Tez具有以下优势： 1. **低延迟**：Tez通过减少数据传输的开销和优化任务调度，能...
Doris介绍、原理、安装、集成hive
02-27
例如，海底捞使用Doris构建了统一数仓，替代了原有的复杂架构（Spark、Hive、Kudu、HBase、Phoenix等），显著简化了数据处理流程。 ##### 4. 数据湖联邦查询 - **联合分析**：无需数据复制即可查询存储在Hive、Ice...
数仓ETL任务规范
03-07
在这个"数仓ETL任务规范"中，我们将深入探讨Hive、Spark和Hadoop在ETL过程中的角色和应用。 首先，Hadoop是一个开源框架，主要用于存储和处理大规模数据。它的核心组件包括HDFS（Hadoop Distributed File System）...
Hadoop的数据分析引擎：Hive
小鹏的专栏
05-05 1522
数据分析的引擎：1、Hive  ---> 属于Hadoop，支持SQL   Pig   ---> 属于Hadoop，支持PigLatin   2、Spark SQL ---> 类似Hive，支持SQL和DSL3、（了解）Impala一、什么是Hive？ 1、Hive是一个翻译器，SQL ---> Hive引擎  ---> MR程序 2、Hive是构建在HDFS上的一个...
Hive的3种执行引擎区别与适用场景
qq_45952294的博客
12-06 6751
1. Hive的3种执行引擎适用场景 ● Hive底层的计算由分布式计算框架实现,目前支持三种计算引擎,分别是MapReduce、Tez、 Spark。 ● Hive中默认的计算引擎是MapReduce ,由hive. execution. engine参数属性控制。 MapReduce引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。 Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘
大数据之Hive（四）：Hive计算引擎
Oak_Komorebi的博客
08-17 1355
目前Hive支持MapReduce、Tez和Spark 三种计算引擎。 4.1 MR计算引擎 MR运行的完整过程： Map在读取数据时，先将数据拆分成若干数据，并读取到Map方法中被处理。数据在输出的时候，被分成若干分区并写入内存缓存（buffer）中，内存缓存被数据填充到一定程度会溢出到磁盘并排序，当Map执行完后会将一个机器上输出的临时文件进行归并存入到HDFS中。 当Reduce启动时，会启动一个线程去读取Map输出的数据，并写入到启动Reduce机器的内存中，在数据溢出到磁盘时会对数据进行再
Hive环境调优总结，hive3大执行引擎区别在哪？
hellojoy的博客
01-28 1624
https://wjrsbu.smartapps.cn/zhihu/article?id=252288440&isShared=1&hostname=baiduboxapp&_swebfr=1 问题：hive 中count(*) 结果不准确？ 场景：hive 中建表， stored as parquet tblproperties ("parquet.compression"="lzo")； 从ods层导入数据，先进行全表检索。select * from dwd_fact.
PyCharm整合Hive并通过SparkSQL执行引擎去操作Hive表
小柒心得
07-08 612
使用SparkSQL整合Hive其实就是让SparkSQL去加载Hive 的元数据库，然后通过SparkSQL执行引擎去操作Hive表
如何实现高性能的数仓执行引擎
数据一哥，公众号：数据社
07-04 7766
Impala是Cloudera开发和开源的数仓查询引擎，以性能优秀著称。除了Apache Impala开源项目，业界知名的Apache Doris和StarRocks、SelectDB项目也跟Impala有千丝万缕的联系。笔者所在的网易数帆大数据团队，是最早一批将其作为分析型数仓查询引擎的团队，目前正基于Impala打造有数高性能数仓引擎。文章大致可以分为这几个部分：首先...
Hive引擎底层初探
京东科技开发者
04-17 883
Hive是一个基于Hadoop的数据仓库工具,用于处理和分析大规模结构化数据。Hive提供了类似SQL的查询语言(HiveQL)，使得熟悉SQL的用户能够查询数据。Hive将SQL查询转换为MapReduce任务，以在Hadoop集群上执行数据处理和分析。
大数据工具——Hive（基础）
m0_45993982的博客
04-29 649
一、HIVE的定义 Hive是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射成一张数据表，并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 本质 Hive的本质是将HQL转换成MapReduce任务，完成整个数据的分析查询，减少编写MapReduce的复杂度 。 二、Hive的优缺点 优点 1.学习成本低:提供了类SQL查询语言HQL,使得熟悉SQL语言的开发人员无需关心细节,可以快速上手. 2.
hive执行引擎更换为tez
最新发布
06-01
Hive是一个基于Hadoop的数据仓库工具，它提供了SQL查询和MapReduce计算能力。Hive使用MapReduce作为默认的执行引擎，但是MapReduce有一些缺陷，例如它需要多次读写HDFS，而这些操作会导致性能瓶颈。 为了解决这个问题，Hive引入了Tez执行引擎。Tez是一个用于数据处理的通用引擎，它支持多种计算模型，包括批处理、交互式查询和流处理。Tez使用DAG（有向无环图）来描述计算过程，可以实现更高效的数据处理。 相比MapReduce，Tez执行引擎有以下优点： 1.更快的查询速度： Tez使用DAG来描述计算过程，减少了不必要的读写操作，从而提高了查询速度； 2.更好的资源利用： Tez支持动态分配资源，可以根据任务的需要动态分配计算资源； 3.更高的灵活性： Tez支持多种计算模型，可以适应不同场景下的数据处理需求。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值