编译Spark3.x,Spark3.x与Hadoop、Hive版本兼容问题的解决
编译Spark3.x1.修改 D:\source\spark-3.0.0\dev\make-distribution.sh将133行-151行注释,按如下方式修改VERSION=3.0.0SCALA_VERSION=2.12SPARK_HADOOP_VERSION=2.6.0-cdh5.16.2SPARK_HIVE=1#VERSION=$("$MVN" help:evaluate -Dexpression=project.version $@ 2>/dev/null\# .
原创
2020-09-25 22:46:12 ·
6464 阅读 ·
0 评论