Spark
混子-小杨
混子
展开
-
好文推荐
2019-07:字节跳动在SparkSql上的优化原创 2020-07-17 13:57:43 · 86 阅读 · 0 评论 -
Spark-概览
文章目录多线程模型异步并发模型作业提交宽/窄依赖任务调度ShuffleRDD持久化Spark集群分为Master节点和Worker节点,相当于Hadoop的Master和Slave节点。Master节点上常驻Master守护进程,负责管理全部的Worker节点。Worker节点上常驻Worker守护进程,负责与Master节点通信并管理executors。Driver 官方解释是 The process running the main() function of the application and原创 2020-07-06 17:43:06 · 149 阅读 · 0 评论