1、本地模式启动spark-shell
备注:
本地模式没有链接到集群,是在本地执行spark任务
到如下路径,一般spark都装在如下位置
cd /usr/local/spark
启动spark-shell
./bin/spark-shell
结果如下图时表示本地模式的spark-shell启动成功
启动时打印的日志
Spark context available as 'sc' (master = local[*], app id = local-1606618642639).
2、集群模式启动spark-shell
到如下路径,一般spark都装在如下位置
cd /usr/local/spark
启动spark-shell
##集群模式需要指定master的地址
./bin/spark-shell --master spark://192.168.123.153:7077
结果如下图时表示集群模式的spark-shell启动成功
打印的日志
Spark context available as 'sc' (master = spark://192.168.123.153:7077, app id = app-20201129112021-0004).
补充:
Spark-Shell是作为一个程序在Spark上执行的