hadoop3.1.3+hive3.1.2+spark2.4.5组成hive on spark

hadoop 配置就不记录了，百度都有

hive就是用开源的3.1.2版本，官方默认是支持spark2.4.5的

hive-site注意配置hdfs中spark的jar依赖，这里要注意路径

这里的spark用的是自己编译的版本，依赖于hadoop3.1.3，并排除了hive依赖

spark-default 如下

spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop01:8020/spark-history
spark.executor.memory 1g
spark.driver.memory 1g
spark.yarn.jars hdfs://hadoop01:8020/user/root/spark-jars/* 

这里需要注意的点：

①资源最好分配大一点

②yarn.jars要注意端口号和jars的路径，这个路径是hdfs的路径，要到hdfs上做对照

③spark-history要提前创建好

spark-env 测试环境只做了简单配置确保可以运行，如果需要调整再添加即可

YA