闭包:
闭包是指当在函数中使用函数外部变量时形成闭包。
当闭包存在时,函数内的局部变量会一直存在,但是对于外部的变量不会影响(集群模式),
如果是在本地执行那么那么闭包对于drive端和executor端是共享的,这时如果对函数外部变量最变更会有影响。
当任务执行时,drive端会将算子所需的变量类序列化打包发送给executor端,这时其实就是闭包的现象,
不需要的类与变量就不会给出去,这时对给出去的某个变量做变更,drive端与executor端是互不影响,
但是最终打印变量会以drive端为准。
如果想要实现全局的变更或者计算可以考虑使用累加器或者广播变量实现。
柯里化:
柯里化就是将多参数的函数转为一个参数的函数,
例如def f(a:Int,b:Int,c:Int)={a+b+c} 转换成 def f(a:Int)(b:Int)(c:Int)={a+b+c}
其实在执行的过程中也存在闭包,当参数不够时会产生偏函数
例: val f2 = f(1)_ 这时f2就是一个偏函数 val f3=f2(1)_ 也是偏函数
过程中产生的值都会保留 直到所有参数传完执行完毕 生成结果