Spark系列(三)Spark的工作机制

什么时候才能回归到看论文，写感想的日子呀~刚刚交完房租的我血槽已空。看了师妹关于Spark报告的PPT，好怀念学生时代开组会的时光啊，虽然我已经离开学校不长不短两个月，但我还是非常认真的翻阅了，并作为大自然的搬运工来搬运知识了。

Spark的执行模式

1、Local，本地执行，通过多线程来实现并行计算。
2、本地伪集群运行模式，用单机模拟集群，有多个进程。
3、Standalone，spark做资源调度，任务的调度和计算。部署繁琐。

4、Yarn， Mesos，通用的统一资源管理机制，可以在上面运行多种计算框架。

着重介绍比较广泛应用集群管理器Yarn

YARN 是在 Hadoop 2.0中引入的集群管理器，它可以让多种数据处理框架运行在一个共享的资源池上，并且通常安装在与 Hadoop 文件系统（简称 HDFS）相同的物理节点上。

第一步是找到你的 Hadoop 的配置目录，并把它设为环境变量HADOOP_CONF_DIR。这个目录包含 yarn-site.xml 和其他配置文件；如果你把 Hadoop 装到 HADOOP_HOME 中，那么这个目录通常位于HADOOP_HOME/conf 中，否则可能位于系统目录 /etc/hadoop/conf中。然后用如下方式提交你的应用：
export HADOOP_CONF_DIR="..." 
spark-submit --master yarn yourapp