hotfire的专栏

1.Accumulator是由Driver端总体进行维护的，读取当前值也是在Driver端，各个Task在其所在的Executor上也维护了Accumulator变量，但只是局部性累加操作，运行完成后会到Driver端去合并累加结果。2、不改变Spark作业懒执行的特点，即没有action操作触发job的情况下累加器的值有可能是初始值。1、只会累加，合并即累加；

-num-executors 24 用于设置Spark作业总共要用多少个Executor进程来执行。--executor-memory 2g ：用于设置每个Executor进程的CPU core数量。--executor-cores 2 用于设置每个Executor进程的CPU core数量。--deploy-mode：部署模式（client/cluster）--driver-memory 2g Driver内存。--driver-cores 2 Driver核数。--master：集群地址。

【代码】spark 关联外部数据。

Spark combineByKey、聚合函数

scala匿名函数

scala详细安装步骤

这部分跳过，直接使用IDEA进行搭建，和其他编程语言配置差不多。

1、安装Scala需要Java运行时库，安装Scala需要首先安装JVM虚拟机，推荐安装JDK1.8。在http://www.scala-lang.org/ 下载Scala2.11.8程序安装包根据不同的操作系统选择不同的安装包，下载完成后，将安装包解压到安装目录。注意：安装时，安装路径中不能含有空格。将scala安装目录下的bin目录加入到PATH环境变量：SCALA...