spark
文章平均质量分 78
苍穆
这个作者很懒,什么都没留下…
展开
-
Spark运行在EMR Jar包(guava)冲突问题
Spark程序运行在EMR的时候发生Jar包冲突(主要是guava和commons-configuration两个包发生冲突), 程序中需要使用guava-20.0以及commons-configuration-1.10两个包原创 2017-06-21 17:24:37 · 2517 阅读 · 0 评论 -
Spark 工作流程
1. Spark job提交过程 Driver的任务提交过程 1、Driver程序的代码运行到action操作,触发了SparkContext的runJob方法。 2、SparkContext调用DAGScheduler的runJob函数。 3、DAGScheduler把Job划分stage,然后把stage转化为相应的Tasks,把Tasks交给TaskScheduler。...原创 2018-07-28 15:09:42 · 4931 阅读 · 0 评论