提交Demo任务
切换到spark安装目录
bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g lib/spark-examples-1.6.1-hadoop2.6.0.jar
–master 指定master节点
–class 指定执行的类
–executor-memory executor内存大小
bin/spark-submit --master spark://master:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2g --total-executor-cores 2 lib/spark-examples-1.6.1-hadoop2.6.0.jar 1000
–total-executor-cores 总的executor 数目
不对核心数目做限制的时候,是最快的。只有两个核心的时候,很慢。
spark 运行模式
–master 指定spark运行模式
参数 | 模式 |
---|---|
Local[N] | 本地模式。使用N个线程 |
Local cluster[worker,core,Memory] | 伪分布式模式,可以配置所需要启动的虚拟工作节点数量,以及每个工作节点所管理的CPU的数量和内存大小 |
Spark://hostname:port | Standalone 模式、需要部署Spark到相关节点,URL 为Spark Master 主机地址和端口(Spark://master:7077) |
Mesos://hostname:port | Mesos 模式, 需要部署Spark 和Mesos到相关节点,URL为Mesos主机地址和端口 |
YARN standalone/YARN cluster | YARN 模式一,主程序逻辑和任务都运行在YARN集群中 |
YARN client | YARN 模式二,主程序逻辑运行在本地,具体任务运行在YARN集群 |