Spark 源码
文章平均质量分 70
Spark 源码
959y
奋斗ing
展开
-
Spark
文章目录1.Spark特点2.Spark相对于Hadoop的优势3.Spark生态系统4.Spark基本概念 Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。 1.Spark特点 Spark具有如下几个主要特点: 运行速度快:Spark使用先进的DAG(Directed Acyclic Graph,......原创 2020-05-01 21:06:34 · 388 阅读 · 0 评论 -
spark内核源码
spark内核结构: 1、Application 2、spark-submit 3、Driver 4、SparkContext 5、Master 6、Worker 7、Executor 8、Job 9、DAGScheduler 10、TaskScheduler 11、ShuffleMapTask and ResultTask yarn环境: 除了yarn环境外还有k8s和mesos环境 1.submitApplication 2.启动ApplicationMaster 3.AM通过参数启动Driver线原创 2021-11-09 22:00:05 · 897 阅读 · 0 评论