spark闭包与柯里化(个人理解,不对还请指点)

闭包:

    闭包是指当在函数中使用函数外部变量时形成闭包。
    当闭包存在时,函数内的局部变量会一直存在,但是对于外部的变量不会影响(集群模式),
    如果是在本地执行那么那么闭包对于drive端和executor端是共享的,这时如果对函数外部变量最变更会有影响。
    
    当任务执行时,drive端会将算子所需的变量类序列化打包发送给executor端,这时其实就是闭包的现象,
    不需要的类与变量就不会给出去,这时对给出去的某个变量做变更,drive端与executor端是互不影响,
    但是最终打印变量会以drive端为准。
    
    如果想要实现全局的变更或者计算可以考虑使用累加器或者广播变量实现。

柯里化:

柯里化就是将多参数的函数转为一个参数的函数,
例如def f(a:Int,b:Int,c:Int)={a+b+c} 转换成 def f(a:Int)(b:Int)(c:Int)={a+b+c}
其实在执行的过程中也存在闭包,当参数不够时会产生偏函数
例: val f2 = f(1)_     这时f2就是一个偏函数   val f3=f2(1)_  也是偏函数
过程中产生的值都会保留 直到所有参数传完执行完毕 生成结果  
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值