电商数仓3.0 数仓搭建之Hive on Spark 配置

资料

Spark官网jar下载：http://spark.apache.org/downloads.html
链接：https://pan.baidu.com/s/17Wu0-T_mwfKtckaqJP8yVg
提取码：rn60

兼容问题

官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Spark版本是2.4.5，所以需要我们重新编译Hive3.1.2版本。

解压

// 解压
[scorpion@warehouse102 09_Spark]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module/

// 改名
[scorpion@warehouse102 module]$ mv /opt/module/spark-3.0.0-bin-hadoop3.2 /opt/module/spark-3.0.0

// 配置环境变量
[scorpion@warehouse102</