Spark 源码
文章平均质量分 70
Spark 源码
959y
奋斗ing
展开
-
Spark
文章目录1.Spark特点2.Spark相对于Hadoop的优势3.Spark生态系统4.Spark基本概念Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。1.Spark特点Spark具有如下几个主要特点:运行速度快:Spark使用先进的DAG(Directed Acyclic Graph,......原创 2020-05-01 21:06:34 · 388 阅读 · 0 评论 -
spark内核源码
spark内核结构:1、Application2、spark-submit3、Driver4、SparkContext5、Master6、Worker7、Executor8、Job9、DAGScheduler10、TaskScheduler11、ShuffleMapTask and ResultTaskyarn环境:除了yarn环境外还有k8s和mesos环境1.submitApplication2.启动ApplicationMaster3.AM通过参数启动Driver线原创 2021-11-09 22:00:05 · 898 阅读 · 0 评论