[Error] SparkContext Error - File not found /tmp/spark-events does not exist
在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。
mkdir /tmp/spark-events
rsync -a /tmp/spark-events {slaves}:/tmp/spark-events
spark-default.conf:
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.history.fs.logDirectory=hdfs:///home/elon/spark/events
这样就可以在UI界面上看见日志了