错误原因:
没找到log4j相关类
导致没找到log4j的原因:
1、hadoop中含有log4j的JAR包
2、使用的是spark-3.1.3-bin-without-hadoop.tgz版本,需要手动指定hadoop的classpath。
解决方法:
打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置(如开始几行)添加如下变量(其中hadoop换成自己的路径)
export SPARK_DIST_CLASSPATH=$(/usr/soft/hadoop-3.2.3/bin/hadoop classpath)