- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark之二：Spark任务运行的详细流程
Spark任务执行详细流程图 适用于Spark Standalone集群模式下的client模式 执行启动命令：shell命令调用Spark-submit脚本 通过exec调用spark-submit类的的main方法 spark-submit类通过反射来执行我们自己写的WordCount的main()方法 New SparkContext（conf）是任务运行所需对象的初始化、实例化工作（整...
2019-10-16 20:14:56
394
原创 Spark之一：Spark任务运行的基本流程
Spark任务运行的基本流程 客户端spark-submit指定任务提交给Master，Driver就会向Master注册Application（附带相关需要的资源）客户端提交任务spark-submit --master spark://主机名:7077 --class xxxx.WC xx.jar input output (没有指定资源使用的是默认资源[core.memory])；spa...
2019-10-16 20:13:15
531
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人