本文详细介绍了Spark作业的核心概念，包括Application、Driver program、Cluster manager、Deploy mode、Executor、Task、Job和Stage。讲解了SparkContext的创建，Driver program的角色，以及Executor如何在YARN上运行。此外，还阐述了Spark作业在YARN上的配置和执行流程，以及如何使用spark-shell进行测试。最后，通过一个需求案例展示了Spark-Core在处理数据上的应用。
文章目录
spark作业核心概念：
Application：
1.a driver program =》 driver
2.executors on the cluster =》 executors
spark作业：
1.sparkcontext
2. web ui
Application jar：
spark作业生成的jar包 =》 spark作业 main方法 =》 部署服务器上
Driver program：
1.main 方法
2.创建sparkcontext
Cluster manager：
An external service for acquiring resources
Deploy mode：
spark jar 提交服务器去运行 =》 yarn
cluster：
driver inside of the cluster driver跑在yarn所在的机器里面
client
driver 运行在cluster之外
Worker node：
can run application code
补充：
spark作业 yarn
nodemanager node
Executor：
containe
最低0.47元/天 解锁文章
1699
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
