踩坑记录
网上都是基于hadoop3 hive3 的配置,没找到2.x的配置,结合3.x改错方法,配置了2.x版本
hadoop2.7.2 hive2.3.6 spark2.4.5 官方兼容
第一步:上传并解压spark-2.4.5-bin-hadoop2.7.tgz
(这里命名成了local)
第二步:配置SPARK_HOME环境变量
sudo vi /etc/profile.d/my_env.sh
添加如下内容
# SPARK_HOME
export SPARK_HOME=/opt/module/spark-2.4.5-local
export PATH=$PATH:$SPARK_HOME/bin
source 使其生效