Spark
飞奔的螃蟹
ss
展开
-
SparkSubmit进程执行过程
SparkSubmit进程执行过程 sparksubmit 类main方法中首先讲args封装到了SaprkSubmitArguments 当中。进行参数的初始化。 封装的返回对象appArgs对进行匹配,如果匹配得到的是sunmit那么进行提交作业的操作,如果匹配到的是kill,结束appArgs对应的进程,如果匹配到的是request_status,返回状态信息。 对于匹配到的是submit提...原创 2019-08-13 21:14:43 · 954 阅读 · 0 评论 -
SparkContext初始化
SparkContext初始化 首先初始化一个SparkContext上下文对象。(在SparkSQL或者SparkStreaming的时候并没有在代码中初始化SparkContext,但是在这两个方法中隐式的初始化了SparkContext这个方法。) SparkContext是初始化提交集群的环境变量,不需要开启进程,所以在这个类中是没有main方法的。 首先根据传进来的参数,创建了Spark...原创 2019-08-13 23:58:40 · 471 阅读 · 0 评论