Spark定制班第31课:集群运行模式下的Spark Streaming调试和难点解决实战经验分享

55 篇文章 0 订阅
本期内容:
1. 集群模式下的Spark Streaming调试
2. 集群模式下的Spark Streaming难点解决案例分享

怎么找出前课想象的原因?
每个batch duration内的处理中,saveAsTextFiles只有一个job。reduceByKey的并行度改为8,shuffle时也确实有8个task。
虽然设置job并行度是1,但日志中显示每个batch duration内有3个job。

ForEachDStream的print会调用take,RDD.take操作导致了3个job的产生。take调用的runjob中的partitions的数量,具体看take中的算法。
需要注意的是,Spark Streaming中说的job是自己的定义,而take中涉及的job是core的定义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值