tianmangshan80的专栏

一：Spark天堂之门：SparkContext！ 1，  Spark程序在运行的时候分为Driver和Executors两部分； 2，  Spark的程序编写是基于SparkContext的，具体来说包含两方面： a)        Spark编程的核心基础---RDD，是由SparkContext来最初创建（第一个RDD一定是由SparkContext来创建的）； b)

1、MasterHA解析    2、Master HA的四种方式    3、Master HA的内部工作机制    4、Master HA的源码解析 实际提交程序的时候，提交给作为Leader的Master； 程序在运行前是粗粒度的资源分配模式，一般一个Master挂掉后，并不影响集群的运行。 一、Master HA解析    1、生产环境下一

一 、master对其他组件注册的处理 1， master接受注册的对象主要就是：driver，application，worker；需要补充说明executor不会注册给master，executor是注册给driver中的schedulerbackbend的； 2， worker是再启动后主动向master注册的，所以如果在生产环境下加入新的worker到已经正在运行的Spark集

本期内容： 1 为什么使用Sort-Based Shuffle 2 Sort-Based Shuffle 实战 3 Sort-Based Shuffle 内幕 4 Sort-Based Shuffle的不足 一、为什么需要Sort Based Shuffle？ 1、Shuffle一般包含两阶段任务；第一部分，产生Shuffle数据