spark基础四 累加器 广播变量 pipe

1累加器

使用map等函数时，可以使用驱动器程序中定义的变量，但集群中运行的每个任务都会得到这些变量的一个新的副本，更新这些副本的值也不会影响驱动器中的对应变量。spark中有两个共享变量，累加器和广播变量，可以实现集群中的共享。

累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法

blacnklines= sc.accumulator(0)

final Accumulator<Integer> blankline=sc.accumulator(0);

 

2 广播变量

让程序高校的向所有工作节点发送一个较大的只读值。只会发送到各节点一次

声明signprefixes = sc.broadcast(loadcallsigntable())

调用signprefizex.value

 

3与外部程序间的管道

spark在RDD上提供pipe()方法，将RDD各元素从标准输入流中以字符串形式读出，并对这些元素执行任何你需要的操作，然后把结果以字符串形式写入标准输出

例如 编写了R脚本文件，希望在每个工作节点都能访问此R脚本，并调用它对RDD进行实际的转化操作

distscript="./src/R/finddistance.R"

distScriptName="finddistance.R"

sc.addFile(distscript)  //构建一个文件李表，让每个工作节点在spark作业中下载列表中的文件，当作业中的行动操作被触发时，这些文件被各节点下载，可以通过sparkfiles.get定位找到单个文件

def hasDistInfo(call):

   reuqireFields=[