spark yarn 提交_Spark 使用 yarn 和 主节点提交

1. 使用yarn 提交 , 在 自己定义的yarn 日志服务器上面能看到任务记录 .

spark-submit --master yarn --class com.Spark_HDFS  ./SXC-1.0-SNAPSHOT.jar

2.使用 Spark的 自己的端口提交

spark-submit --master spark://node1:7077 --class com.Spark_HDFS ./SXC-1.0-SNAPSHOT.jar

需要配置 Spark/conf/spark-default.conf

spark.master spark://master:7077

spark.eventLog.enabled true

spark.eventLog.dir hdfs://node1:8020/directory

spark.serializer org.apache.spark.serializer.KryoSerializer

spark.driver.memory 2g

spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

在这里会有记录 , 一般来说 ,采用什么方式提交 , 会记录到那里 ,这是spark/conf/spark-default.conf 里的设置 , 设置好了才会有记录j