filter a RDD

34 篇文章 0 订阅

How to filter a RDD according to a function based another RDD in Spark?
当输入变得很大时,只有有限的内存,那么应该增加number of splits:

val input = List("a,b,c,d","b,c,e","a,c,d","e,g")
val splitSize = 10000
val numSplits = (inout.size / splitSize) +1 //必须 > 0
val groups = sc.parallelize(input, numSplits) //分片
val weights = Array(("a", 3), ("b", 2), ("c", 5), ("d", 1), ("e", 9), ("f", 4), ("g", 6)).toMap
def isHeavy(inp:String) = inp.split(",").map(weights(_)).sum > 12
val result = groups.filter(isHeavy)

也可以考虑使用spark.executor.memory增加executor memory size

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值