Hive on Spark
Hive 安装可参考https://blog.csdn.net/ggnff/article/details/118944977
Spark安装可参考https://blog.csdn.net/ggnff/article/details/118946730
本次使用的Hive版本为Hive-3.1.2,Spark版本为Spark-3.0.0,这两个版本并不兼容,但在Hive安装文章里百度网盘提供的安装包是已经编译好的,可以直接使用,并且spark也提供无hadoop依赖的纯净包,需要可以自行下载;
1.创建spark配置文件
vim /opt/module/hive/conf/spark-defaults.conf
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/spark-history
spark.executor.memory 1g
spark.driver.memory 1g
2.在hdfs创建spark存储日志文件的目录,必须和上面配置的名称一样
hdfs dfs -mkdir /spark-history
3.上传spark纯净jar包到/opt/software/并解压
tar -zxvf /opt/software/spark-3.0.0-bin-without-hadoop.tgz
4.上传jar包到hdfs
hadoop fs -mkdir /spark-jars
hadoop fs -put spark-3.0.0-bin-without-hadoop/jars/* /spark-jars
确保jar包上传无误
5.修改hive-site.xml文件
vim /opt/module/hive/conf/hive-site.xml
<property>
<name>spark.yarn.jars</name>
<!--注意主机名和hdfs存放jar包的文件夹要设为自己配置的名称-->
<value>hdfs://hadoop102:8020/spark-jars/*</value>
</property>
<!--Hive 执行引擎-->
<property>
<name>hive.execution.engine</name>
<value>spark</value>
</property>
<!--Hive 和 Spark 连接超时时间-->
<property>
<name>hive.spark.client.connect.timeout</name>
<value>10000ms</value>
</property>
6.重启hive
cd /opt/module/hive/
bin/hive
测试:
create table table1(id int, name string);
insert into table table1 values(1,'abc');
第一次运行任务需要多等待一会
出现上图则配置完成。