2020-05-10

Spark Streaming 如何把DstreamRDD转换成List

pyspark中的collect可以把RDD转换成List
所以，可以先把Spark Streaming中的Dstream转换成SparkRDD，再使用collect操作变成list。
1、使用foreachRDD将DstreamRDD转换成SparkRDD
2、SparkRDD 使用collect操作将RDD转换成list

def transformList(rdd):
    a = Eddie.collect()
    print(a)

lines_rdd = kafka_streaming_rdd.map(lambda x: x[1].split(" ")).foreachRDD(transformList)