qq_35585375的博客

原创 hadoop3.1.3+hive3.1.2+spark2.4.5组成hive on spark

hadoop 配置就不记录了，百度都有hive就是用开源的3.1.2版本，官方默认是支持spark2.4.5的这里的spark用的是自己编译的版本，依赖于hadoop3.1.2，并排除了hive依赖spark-default 如下spark.master yarnspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop01:8020/spark-historyspark.executor.memory 1gspark.driver