spark 笔记(一) stand alone 和yarn-cluster的部分区别

    公司最近的spark集群由原来的standalone迁移到spark on yarn了，在迁移相关的程序时，发现调整还是有一些的，以下分别是两个版本提交的部分shell命令，从命令可以看出其区别，这个区别主要是spark on yarn的工作方式不太一样，造成提交的方式也不太一样。

    standalone方式的脚本为:

spark-submit --class com.bg.tools.WapJoinUA\ --driver-memory 80g \ --executor-memory 60g \ --total-executor-cores 256 \ ${COMMON_PATH}/jars/${APP_JAR} \ ${HDFS_UATAG_INPUT} ${HDFS_INSTANCE_INPUT} ${TAGS_FILTER_FILE} ${HDFS_OUTPUT} 100

    yarn-cluster方式的脚本为:

spark-submit --queue dc --class bg.tools.Instance \ --master yarn-cluster \ --executor-memory 30g \ --driver-memory 10g \ --num-executors 200 --executor-cores 16 \ ${COMMON_PATH}/jars/${APP_JAR} \ ${HDFS_INSTANCE_INPUT} ${HDFS_OUTPUT}

    碰到的问题其中一个就是文件读写的方法不一致， standalone由于driver是固定的ÿ