qq_42694555的博客

原创 spark 任务运行机制

(图文结合一起看) 1 spark 任务 从提交任务开始 : spark-submiit --master … 2 会去调用一个脚本 spark-class,然后这个类会调用spark-submit的 main 方法 3 这个main方法启动之后会通过反射调用我们自己写的程序的main方法. 4 自己写的main方法启动之后 首先会 new sparkconf 这个参数主要设置mast...