spark rdd foreach和foreachPartition

foreach(f)

将方法用于RDD的所以元素

>>> def f( x): print(x)

>>> sc.parallelize([1, 2, 3, 4, 5]).foreach(f)

foreachPartition(f)[source]
将方法用于RDD的每个分区

>>> def f(iterator):
...     for x in iterator:
...          print(x)
>>> sc.parallelize([1, 2, 3, 4, 5]).foreachPartition(f)

解析：从上面的案例，画横线的部分可以看出，foreach(f)是将iterator的每个数据放入方法中，处理的是每个元素,而foreachPartition(f)是将分区中的iterator直接放入到方法中，然后在方法中自己处理,