一.安装Hive
安装和Spark对应版本一起编译的Hive,当前官网推荐的版本关系如下:
HiveVersion
SparkVersion
1.1.x
1.2.0
1.2.x
1.3.1
2.0.x
1.5.0
2.1.x
1.6.0
2.2.x
1.6.0
2.3.x
2.0.0
3.0.x
2.3.0
master
2.3.0
二.安装Spark
①在Hive所在机器安装Spark,配置Spark on Yarn模式。
可以将spark的日志,集成到Yarn上
②配置Spark的环境变量。
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
source /etc/profile.d/my_env.sh
三.向HDFS上传Spark纯净版jar包
使用不带hadoop的spark的包:spark-3.0.0-bin-without-hadoop.tgz
①解压
tar -zxvf /opt/software/spark/spark-3.0.0-bin-without-hadoop.tgz
②上传只HDFS的/spark-jars目录,该目录在下面需要配置
hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars
四.修改hive-site.xml文件</