Hive的3种执行引擎区别与适用场景

1. Hive的3种执行引擎适用场景

● Hive底层的计算由分布式计算框架实现,目前支持三种计算引擎,分别是MapReduce、Tez、 Spark。
● Hive中默认的计算引擎是MapReduce ,由hive. execution. engine参数属性控制。

MapReduce引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。

Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘 DAG有向无环图。 兼顾了可靠性和效率。一般处理天指标。

Tez引擎：完全基于内存。 注意：如果数据量特别大，慎重使用。容易OOM。一般用于快速出结果，数据量比较小的场景。

2. hive的引擎mapreduce、tez和spark三者比较

[转载]：https://www.jianshu.com/p/357fceaa4042