hive on spark

hive on spark 的配置

1）解压spark-2.4.5-bin-without-hive.tgz

[test@hadoop102 software]$ tar -zxf /opt/software/spark-2.4.5-bin-without-hive.tgz -C /opt/module
[test@hadoop102 software]$ mv /opt/module/spark-2.4.5-bin-without-hive /opt/module/spark

2）配置SPARK_HOME环境变量

[test@hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
source 使其生效
[test@hadoop102 software]$ source /etc/profile.d/my_env.sh

3）配置spark运行环境

[test@hadoop102 software]$ mv /opt/module/spark/conf/spark-env.sh.template /opt/module/spark/conf/spark-env.sh
[test@hadoop102 software]$ vim /opt/module/spark/conf/spark-env.sh
添加如下内容
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

$()相当于飘号，是将里面的命令执行结果返回给前面的变量
返回的是hadoop所有的依赖
这个class path 是hadoop集群的，返回的是hadoop的所有依赖

4）新建spark配置文件

[test@hadoop102 software]$ vim /opt<