之前学习都是官网API Doc+社区的博文,最近参考了几篇examples,发觉example+doc才是绝配。
由于集群Spark版本是2.1.1,所以我学习的examples示例是2.1.1版本中的,2.2.0版本中关于ml【也就是DataFrame版的mllib】的examples有不少内容与2.1.1版本不同。
**注意:**使用ml的一些example还需要导入examples下的scopt_2.11-3.3.0.jar和spark-examples_2.11-2.1.1.jar
##学习前(理论)
-
默认情况下,函数中使用到的每一个变量会拷贝到每一个执行函数的节点(Worker)的【在Spark On Yarn模式中就是NodeManager节点】每个Task上——在每一个节点中,有不止一个的Executor【CoarseGrainedExecutorBackend创建】,它是Application运行在Worker上的一个进程【进程名就叫CoarseGrainedExecutorBackend】,每个Executor能并行运行多个Task【线程池中获取,具体数量取决于分配给Executor的CPU core数】。
-
最主要的是,各个远程节点上变量的更新并不会传播回 driver program(驱动程序)通用且支持 read-write(读-写) 的共享变量在任务间是低效的。另外,如果变量特别大,一方面会加大网络IO,一方面也会占用太多内存。
-
广播变量(Broadcast variables):Spark 会自动广播出每个 stage(阶