hive报错 spark_Hive(十三)【Hive on Spark 部署搭建】

一.安装Hive

安装和Spark对应版本一起编译的Hive，当前官网推荐的版本关系如下：

HiveVersion

SparkVersion

1.1.x

1.2.0

1.2.x

1.3.1

2.0.x

1.5.0

2.1.x

1.6.0

2.2.x

1.6.0

2.3.x

2.0.0

3.0.x

2.3.0

master

2.3.0

二.安装Spark

①在Hive所在机器安装Spark，配置Spark on Yarn模式。

可以将spark的日志，集成到Yarn上

②配置Spark的环境变量。

export SPARK_HOME=/opt/module/spark

export PATH=$PATH:$SPARK_HOME/bin

source /etc/profile.d/my_env.sh

三.向HDFS上传Spark纯净版jar包

使用不带hadoop的spark的包：spark-3.0.0-bin-without-hadoop.tgz

①解压

tar -zxvf /opt/software/spark/spark-3.0.0-bin-without-hadoop.tgz

②上传只HDFS的/spark-jars目录，该目录在下面需要配置

hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars

四.修改hive-site.xml文件</