Spark学习_4（spark的启动方式解析）

引言：

通过Spark-shell的交互式编程，有利于在spark学习的初级阶段练习和掌握基本的API，由于spark框架采用的scala语言就行开发的，所以使用spark-shell命令也会默认进入到scala的交互式执行环境中。

spark启动命令

在配置好了的系统中运行Spark-shell。就可以进入到交互式执行环境中。命令和参数如下：
./bin/spark-shell --master master-url
其中master-url表示spark的运行模式

master-url	含义
local	使用一个work线程在本地运行spark
–	–
spark://host:port	spark采用standalone集群模式，默认端口7077
–	–
yarn-client	spark采用yarn集群模式，以客户端模式连接到spark集群，集群的位置可以在./conf/spark-env.sh中HADOOP_CONF_DIR环境变量中找到，当用户提交作业之后，不能关掉client，drive program驻留在client中，负责调度作业的执行。该模式适合运行交互类型的作业，常用于开发阶段
–	–
yarn-cluster	集群的位置可以在./conf/spark-env.sh中HADOOP_CONF_DIR环境变量中找到，当用户提交作业之后，就可以关闭client了，作业会继续在yarn上运行。该模式不适合运行交互类型的作业，常用于企业生成环境
–	–
mesos	spark采用mesos集群模式，默认端口5050

例如：进入到local本地运行模式：
spark-shell
进入到yarn集群client模式：
spark-shell --master yarn-client
推出
:quit