2、配置tez计算引擎
set hive.execution.engine=tez;
3、配置spark计算引擎(切换spark引擎时,服务器要安装好spark,并且hive与spark的版本要配套)
set hive.execution.engine=spark;
四、查看目前hive使用的计算引擎
set hive.execution.engine;
五、安装与hive配套的spark(前提是已经安装好Hive3.1.2、Spark3.0.0)
第一步,在hive中创建spark配置文件 (注意:端口号8020必须和namenode的端口号一致)
[root@hurys22 ~]# cd /opt/soft/hive312/conf/
[root@hurys22 conf]# vi spark-defaults.conf
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://192.168.0.22:8020/spark-history
spark.executor.memory 1g
spark.driver.memory 1g

本文介绍了如何在Ambari中将Hive的计算引擎从MapReduce改为Spark。步骤包括配置Tez和Spark引擎,查看当前引擎,安装与Hive配套的Spark,并修改hive-site.xml文件。文章还提供了详细的配置文件内容和HDFS操作,确保Spark与Hive版本匹配并成功运行测试。
最低0.47元/天 解锁文章
3200

被折叠的 条评论
为什么被折叠?



