Spark的三种运行模式

总结：不管什么运行模式，代码不用改变，只需要在spark-submit脚本提交时
通过--master xxx 来设置你的运行模式即可

1、local模式：本地运行，使用该模式做开发,使用local模式的话，只需要把spark的安装包解压开，什么都不用动，就能使用

./spark-submit \
--class  Charpter5.DataSourceApp \
--master local \
--name DataSourceApp \
--jars /home/keyan/maven_repository/com/typesafe/config/1.3.3/config-1.3.3.jar \
/root/IdeaProjects/spark_train/target/spark_train-1.0-SNAPSHOT.jar

2、Yarn模式：将Spark作业提交到Hadoop(YARN)集群中运行，Spark仅仅只是一个客户端而已

前提：1、要将Spark应用程序运行在YARN上，一定要配置HADOOP_CONF_DIR或者YARN_CONF_DIR
指向，CDH版本在$HADOOP_HOME/etc/conf，非CDH版本在$HADOOP_HOME/etc/hadooop

export HADOOP_CONF_DIR=/usr/local/src/hadoop-2.6.5/etc/hadoop

2、启动yarn

第一步:cd $HADOOP_HOME/sbin

第二步:./start-yarn.sh，如果要用到hdfs，则再将./start-dfs.sh给启动了，这两个的shell启动命令集成到了start-all.sh