![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Bighead_xd
秋名山上行人稀,不见当年老司机
展开
-
Spark Learning(RDD介绍)
RDD介绍原创 2017-11-08 17:20:56 · 419 阅读 · 4 评论 -
Spark Learning(RDD计算)
RDD计算原始的RDD经过一系列转换后,会在最后一个RDD上触发一个动作,这个动作生成一个 job , job 被划分为一批计算任务 task 后,会被提交到集群上的计算节点,计算节点中执行计算逻辑的部分称为 executor 。Spark中的 task 分为 ShuffleMapTask 和 ResultTask 两种。DAG最后一个阶段为每个结果的 Partition 生成一个 ResultT原创 2017-11-08 20:50:50 · 229 阅读 · 0 评论