- 博客(11)
- 收藏
- 关注
原创 Spark任务执行原理
![在 以上图中有四个机器节点,Driver和Worker是启动在节点上的进程,运行在JVM中的进程。 1、Driver与集群节点之间有频繁的通信。 2、Driver负责任务(tasks)的分发和结果的回收。任务的调度。如果task的计算结果非常大就不要回收了。会造成oom。 3、Worker是Standalone资源调度框架里面资源管理的从节点。也是JVM进程。 4、Master是Standal...
2020-04-13 20:10:35 143
原创 Spark代码流程
1、创建SparkConf对象:设置Application name 以及运行模式及资源需求。 2、创建SparkContext对象。 3、基于Spark的上下文创建一个RDD,对RDD进行处理。 4、应用程序中要有Action类算子来触发Transformation类算子执行。 5.、关闭Spark上下文对象SparkContext ...
2020-04-13 16:03:45 109
原创 java版本的spark WordCount
public class JavaSparkWordCount { public static void main(String[] args) { /** * conf * 1.可以设置spark的运行模式 * 2.可以设置spark在webui中显示的application的名称。 * 3.可以设置当前spark application 运行的资源(内存+...
2020-04-11 21:42:10 123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人