mapreduce主程序如何传递变量到map或者reduce函数中使用

    一般我们写的mapreduce主程序放在客户端机器上,执行任务时是在集群机器上,所以要将变量从主程序传递到我们自己写的map或者reduce函数中就不能使用全局变量,因为map和reduce函数的执行是在集群的内存中,而mapreduce主程序的执行是在客户端机器的内存中。可以使用以下方法解决:

    1 首先全局变量不可以使用,因为全局变量是在运行mapreduce主程序的机器内存当中,在集群的内存中是无法调用的。

    2 通过写入mapreduce文件方式,这样如果数据量比较大新增这么一个变量字段不是很合理。

    3 通过数据库方式传输。


转载于:https://my.oschina.net/mkh/blog/309294

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值