Spark-yarn环境配置

一、spark-env.sh

1.配置hadoop的配置文件

export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop

二、spark-defaults.conf

1.配置spark依赖的文件并上传到hdfs中

spark.yarn.jar=hdfs:///user/spark/jars/spark-assembly-1.6.0-hadoop2.4.0.jar

2.配置spark在yarn上的history

spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.history.fs.logDirectory=hdfs://master:8020/tmp/logs/spark/logs

三、启动spark的history server

${SPARK_HOME}/sbin/start-history-server.sh

查看日志

yarn logs -applicationId application_1477828424381_171674

至此， 配置完成