Spark 基本概念

 #  官网部分解释 Cluster Mode Overview - Spark 3.3.0 Documentation

Application:指的是用户编写的Spark应用程序/代码, 一个完整的main方法程序,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码,

  如main方法中有WordCount代码有哪些命令会产生一个Application

  • spark/bin/pyspark 【输入exit()就退出】

  • spark/bin/spark-submit 【main方法跑完就退出】

  • spark/bin/spark-shell 【输入:quit就退出】

  • spark/bin/spark-sql 【输入exit; 就退出】

  • 在Pycharm中写完代码,右键执行run

  • spark/sbin/start-thriftserver.sh

  • 只要上面的命令都运行,就可以在webui页面查看运行情况。(一般运行时页面端口是4040,也可能会轮询到4041等)

  • 只要上面的命令都运行完毕或强行突出,那么Application就结束。同时

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值