spark-shell 基本用法

spark-shell 是 scala 语言的 REPL（Read-Eval-Print-Loop，通俗地理解就是命令行模式） 环境，同时针对 spark 做了一些拓展。

• 退出 spark-shell：scala> :quit

0. 常见参数

• --master spark://xx:7077：指定master节点；
• --executor-memory 512m：每一个执行节点所需的内存；
• --total-executor-cores 2：集群用到的 CPU 核数；

1. 启动 spark-shell 的方法

• 本机

  $ spark-shell --master local[N]
  $ spark-shell --master local[*]
  

  通过设定local[N]参数来启动本地 Spark 集群，其中 N 表示运行的线程数，或者用 * 表示使用机器上所有可用的核数。

  在本地模式设定内存，如设置本地进程使用 2GB 内存。

  $ spark-shell --driver-memory 2g --master local[*]
  

• 启动在 hdfs 上

• 在 yarn 上启动

  如果你有一个 hadoop 集群，并且 hadoop 版本支持 yarn，通过为 Spark master 设定 yarn-client 参数值，便可在集群上启动 spark 作业：

  $ spark-shell --master yarn-client