一、spark-env.sh
1.配置hadoop的配置文件
export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop
二、spark-defaults.conf
1.配置spark依赖的文件并上传到hdfs中
spark.yarn.jar=hdfs:///user/spark/jars/spark-assembly-1.6.0-hadoop2.4.0.jar
2.配置spark在yarn上的history
spark.history.ui.port=18080
spark.eventLog.enabled=true
spark.history.fs.logDirectory=hdfs://master:8020/tmp/logs/spark/logs
三、启动spark的history server
${SPARK_HOME}/sbin/start-history-server.sh
查看日志
yarn logs -applicationId application_1477828424381_171674
至此, 配置完成