如何遍历处理dataframe的每一行？

有时我们会对dataframe的每一行进行遍历处理，有两种方式可以采用：

使用map函数

def customFunction(row):
   return (row.name, row.age, row.city)
sample2 = sample.rdd.map(customFunction)

自定义一个处理函数，并通过rdd的map函数来处理dataframe的每一行数据。

使用collect()函数

若数据量比较小，可以把数据收集到driver本地，然后再用常规的方法来遍历数据。

for row in df.rdd.collect():
    do_something(row)

或

for row in df.rdd.collect():
    do_something(row)

小结

本文介绍了遍历Dataframe的两种方式。