- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 spark 物理执行之 job、stage、taskset
物理图的作用是什么?问题一: 物理图的意义是什么?物理图解决的其实就是RDD流程生成以后, 如何计算和运行的问题, 也就是如何把 RDD 放在集群中执行的问题问题二: 如果要确定如何运行的问题, 则需要先确定集群中有什么组件 首先集群中物理元件就是一台一台的机器 其次这些机器上跑的守护进程有两种:Master,Worker 每个守护进程其实就代表了一台机器, 代表这台机器的角色, 代表这台机器和外界通信 例如我们常说一台机器是Master,...
2020-09-12 09:43:51
783
原创 spark core之 RDD 之间的依赖关系
什么是RDD之间的依赖关系? 什么是关系(依赖关系) ? 从算子视角上来看,splitRDD通过map算子得到了tupleRDD, 所以splitRDD和tupleRDD之间的关系是map 但是仅仅这样说, 会不够全面, 从细节上来看,RDD只是数据和关于数据的计算, 而具体执行这种计算得出结果的是一个神秘的其它组件, 所以, 这两个RDD的关系可以表示为splitRDD的数据通过map操作, 被传入tupleRDD, 这是它们之间更细...
2020-09-10 23:24:09
297
原创 sparksession wordcount
package com.wjl7813.spark.core.rdd.transformationsimport org.apache.spark.sql.SparkSessionobject WordCount { def main(args: Array[String]): Unit = { val spark =SparkSession.builder().appName("WordCountexample").master("local[4]").getOrCreate(.
2020-09-05 17:19:41
389
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人