spark-shell 是 scala 语言的 REPL(Read-Eval-Print-Loop,通俗地理解就是命令行模式) 环境,同时针对 spark 做了一些拓展。
- 退出 spark-shell:
scala> :quit
0. 常见参数
--master spark://xx:7077
:指定master节点;--executor-memory 512m
:每一个执行节点所需的内存;--total-executor-cores 2
:集群用到的 CPU 核数;
1. 启动 spark-shell 的方法
-
本机
$ spark-shell --master local[N] $ spark-shell --master local[*]
通过设定
local[N]
参数来启动本地 Spark 集群,其中 N 表示运行的线程数,或者用 * 表示使用机器上所有可用的核数。在本地模式设定内存,如设置本地进程使用 2GB 内存。
$ spark-shell --driver-memory 2g --master local[*]
-
启动在 hdfs 上
-
在 yarn 上启动
如果你有一个 hadoop 集群,并且 hadoop 版本支持 yarn,通过为 Spark master 设定 yarn-client 参数值,便可在集群上启动 spark 作业:
$ spark-shell --master yarn-client