问题:
当用oozie工作流,调度执行shell脚本,shell脚本中提交spark程序,application任务列表user列显示nobody。
解决办法,增加 --proxy-user 属性设置用户为hdfs
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
--queue thequeue \
--proxy-user \
examples/target/scala-2.11/jars/spark-examples*.jar 10