如何启动本地模式和集群模式的spark-shell

1、本地模式启动spark-shell

备注:
本地模式没有链接到集群,是在本地执行spark任务

到如下路径,一般spark都装在如下位置

cd /usr/local/spark

启动spark-shell

./bin/spark-shell 

结果如下图时表示本地模式的spark-shell启动成功

启动时打印的日志

Spark context available as 'sc' (master = local[*], app id = local-1606618642639).

2、集群模式启动spark-shell

到如下路径,一般spark都装在如下位置

cd /usr/local/spark

启动spark-shell

##集群模式需要指定master的地址

./bin/spark-shell  --master spark://192.168.123.153:7077

结果如下图时表示集群模式的spark-shell启动成功

打印的日志

Spark context available as 'sc' (master = spark://192.168.123.153:7077, app id = app-20201129112021-0004).

补充:
Spark-Shell是作为一个程序在Spark上执行的

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
那太好了!现在你可以在Spark集群上运行分布式计算任务了。接下来,你可以使用以下步骤在Spark集群上运行一个简单的WordCount应用程序: 1. 在Spark Master节点上,使用以下命令启动Spark Master服务: ``` ./sbin/start-master.sh ``` 2. 访问Spark Master的web界面,在浏览器中输入:`http://<master-ip>:8080`。你应该能够看到Spark Master节点的状态和一些统计信息。 3. 在Spark Worker节点上,使用以下命令启动Spark Worker服务: ``` ./sbin/start-worker.sh spark://<master-ip>:7077 ``` 注意:在此命令中,`<master-ip>`应该替换为你的Spark Master节点的IP地址。 4. 访问Spark Master的web界面,你将看到Spark Worker节点已经成功连接到Spark Master。 5. 在Spark Master节点上,使用以下命令启动Spark Shell: ``` ./bin/spark-shell --master spark://<master-ip>:7077 ``` 注意:在此命令中,`<master-ip>`应该替换为你的Spark Master节点的IP地址。 6. 运行以下Spark代码来执行WordCount应用程序: ``` val textFile = sc.textFile("<path-to-input-file>") val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) wordCounts.saveAsTextFile("<path-to-output-file>") ``` 注意:在此代码中,`<path-to-input-file>`应该替换为你的输入文件的路径,`<path-to-output-file>`应该替换为你的输出文件的路径。 7. 查看输出文件,你将看到WordCount应用程序的结果。 希望这些步骤对你有所帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值