Hive的底层计算框架默认是MapReduce，还有两种是Tez和Spark这几种的区别是什么？计算速度上为什么会有明显的差异？

最新推荐文章于 2023-12-20 11:39:47 发布
最新推荐文章于 2023-12-20 11:39:47 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： spark 文章标签： 大数据 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37748919/article/details/107465317
版权

mapreduce:
基于磁盘的迭代,中间结果保存在文件中
spark:
基于内存的,中间结果无需落地磁盘，减少了磁盘IO的操作,DAG计算模型-可以减少shuffle次数

sparkmr
spark遇到宽依赖才会发生shuffle一次mr任务就会发生一次
spark在map端会完成排序mr在reduce端会进行归并排序
spark先放内存mr直接放磁盘

tez:
也有dag有向无关图，container重用，但部署繁琐

Monmently
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据处理引擎对比：MR、Spark和Tez
C_19870的博客
11-17 225
为了解决这些问题，Spark引擎应运而生。MR引擎适用于处理大规模数据和相对较慢的任务，而Spark引擎通过内存计算和DAG优化，在处理天指标等需要快速响应的任务时具备更高的效率和可靠性。同时，MR引擎也在不断优化，通过引入新的特性和改进算法，提高其在大规模数据处理中的性能。无论是处理大规模数据还是需要快速响应的任务，这些引擎都在不断演进和改进，为用户提供更加强大和高效的数据处理工具。特别是对于需要更快速响应和高效处理的任务，MR引擎的磁盘IO和多阶段落盘的特性可能会导致较长的计算时间和性能瓶颈。
hive sql执行方式对比（tez,mapreduce,spark,storm）
ronaldo-liu的博客
03-27 3066
执行方式 简介 优点 缺点 MapReduce 是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算 大数据量下优势明显 读写hdfs次数多；数据量不大时性能一般 Tez ...
总结：Hive，Hive on Spark和SparkSQL区别
热门推荐
MrLevo520的博客
08-04 4万+
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析Step 1：UI(user interface) 调用 executeQuery 接口，发送 H
hive的引擎mapreduce、tez和spark对比
weixin_61938673的博客
12-20 1460
Hive 的执行引擎包括以下几种：Hive 最早使用的执行引擎是基于 Hadoop MapReduce 的。它将 Hive 查询转化为一系列的 MapReduce 任务进行并行执行。MapReduce 引擎适用于处理大规模数据集，具有良好的容错性和扩展性，但由于磁盘读写和中间结果的持久化，可能在性能和响应时间方面受到影响。Hive 可以使用 Apache Tez 作为执行引擎来加速查询处理。
【大数据之Hive】一、Hive概念及框架原理
阿宁的博客
05-24 819
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，主要完成海量数据的分析和计算。优点：简化数据开发流程及提高了效率。
spark和tez的区别
weixin_64017965的博客
07-13 1832
spark和tez的区别
本项目为大数据基础镜像组件，其中包括Hadoop、Spark、Hive、Tez、Hue、Flink、MySQL等
最新发布
03-13
2. **Spark**：Spark是另一种大数据处理框架，相比Hadoop MapReduce，它在内存计算方面有显著优势，提供了更高效的计算性能。Spark支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）和...
这是一个hive相关的文件，完整工程
06-20
6. **Hive与MapReduce的关系**：早期的Hive主要依赖MapReduce作为执行引擎，但随着Spark、Tez等更高效的计算框架出现，Hive也开始支持这些执行模型，提高查询速度。 7. **Hive优化**：包括使用EXPLAIN命令分析查询...
spark或mr引擎插入的数据，hive表查询数据为0
02-28
在大数据处理场景中，经常会遇到使用不同执行引擎（如Spark、MapReduce (MR) 或 Tez）进行数据处理的情况。其中一种常见的问题是，在使用Spark或MR引擎对Hive表进行数据插入后，通过Hive查询这些数据时，结果却显示...
大数据环境搭建，本项目为大数据基础镜像组件，其中包括Hadoop、Spark、Hive、Tez、Hue、Flink、.zip
02-23
首先，Hadoop是Apache开源项目，主要由HDFS（分布式文件系统）和MapReduce（分布式计算框架）组成。HDFS提供了高容错性和高吞吐量的数据存储，而MapReduce则用于处理和生成大数据集。这两个组件协同工作，使得大数据...
spark2.3.1-with-hive
09-07
这意味着用户可以使用 Spark 来执行 Hive 表上的查询，而无需了解底层的 MapReduce 或 Tez 执行引擎。 2. **Hive Metastore 服务**：Spark 可以连接到 Hive Metastore，获取表的信息，包括分区、列、表的属性等，...
Hive基础知识及底层架构
zhangliushi的博客
03-28 1456
文章目录前言一、基础知识（一）Hadoop生态系统中的Hive（二）Hive的特点二、Hive底层（一）Hive组成模块（二）Hive执行过程三、参考书籍 前言 分享Hive基础知识，记录本人对其底层的理解。 一、基础知识 （一）Hadoop生态系统中的Hive Hive可以将大多数的查询转换为MapReduce任务（job），方便用户使用类SQL语言查询存储在Hadoop集群中的数据。 （二）Hive的特点 Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性地限制了Hi
mapreduce、tez和spark三者比较
L13763338360的博客
06-23 2636
MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 Tez Tez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一
hive引擎的选择：tez和spark
weixin_30709061的博客
05-30 5312
背景 mr引擎在hive 2中将被弃用。官方推荐使用tez或spark等引擎。 选择 tez 使用有向无环图。内存式计算。 spark 可以同时作为批式和流式的处理引擎，减少学习成本。 问题&&不便 tez： 在hive sql中使用了union 或 join操作 tez会将任务切分,每个小任务，创建一个文件文件夹，如下： 这就会造成一个非常严重的问题...
hive on spark执行速度慢
weixin_34032827的博客
01-22 3344
星环hive on spark执行速度慢 因为task的启动数量是根据hdfs底层的block数量来定，在 block 数据量偏少的情况下，单个任务运行的时间就少，那么任务开启的开销很可能占据总开销的大量比例。现在因为block文件数量庞大，导致task启动数量巨大，过多的线程将导致排队延时的增加，严重影响sql的执行效率，所以对 block 有效的合并处理有助于促进语句执行的高效性 于是开启au...
大数据学习12：Hive的整体框架和DDL整理
ggwxk1990的博客
09-14 445
一、hive的框架 hadoop是一个海量分布式存储和计算的框架，hdfs负责存储，yarn调度，MapReduce计算。 相对于MapReduce编程的不足，产生了hive的框架： 1）MapReduce繁琐：要写mapper，reducer，driver，package 2）海量数据存放在hdfs，如何快速对hdfs上的文件进行统计分析操作。 ①学java，学mapr ②DBA：s
【硬刚大数据】Hive计算引擎大PK，万字长文解析MapRuce、Tez、Spark三大引擎
微信搜：import_bigdata，大数据领域硬核原创作者
10-23 1585
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 前言 Hive从2008年始于FaceBook工程师之..
Hive简介和架构
张鑫的博客
08-11 1万+
第1章 Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序？ 怎么进行转换的，详见https://blog.csdn.net/qq_26442553/article/details...
Spark与MapReduce（Hive）对比分析
IT_心如止水的博客
04-14 2650
Spark比MapReduce计算速度快的原因 Spark与MapReduce都是当今主流的离线分布式大数据计算框架，在实际工作中应用广泛。众所周知，spark的数据处理速度要比MapReduce快很多倍，那具体原因是什么呢？相信大家在面试过程中经常会被问到类似的问题。今天就来给大家好好分析一下具体的原因。 MR基于HDFS，所有的中间结果都需要落到HDFS中，需要频繁地进行文件的IO操作，且中间结果使用效率低；而Spark基于内存，通过DAG有向无环图来切分任务的执行先后顺序。尽量将中间结果存储在内存
hadoop和hive、spark、presto、tez是什么关系
09-03
综上所述，Hadoop提供了存储和分布式计算的基础架构，而Hive、Spark、Presto和Tez等工具则是建立在Hadoop之上，为开发人员提供了更方便和高效的方式来处理、查询和分析大规模的数据集。这些工具在不同的场景中有不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值