遇到一个坑，我在使用spark-core时，使用了foreachPartition方法，程序如下
使用foreachPartition进行往redis中存值，对里面的Iterator使用了map方法，但是并没有存进去，换成foreach方法可以
val conf = new SparkConf().setAppName(this.getClass.getName).setMaster("local")
val sc =scala中的迭代器【Iterator】
本文探讨了在使用Scala的`Iterator`时遇到的问题，即在`foreachPartition`中对`Iterator`应用`map`方法无法正常工作。通过测试发现，对于`Iterator`，`map`方法不会产生预期效果，而使用`foreach`则可以正确执行。这揭示了Scala迭代器在某些操作上的特殊行为。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
