sparkpython多线程_如何在PySpark（Spark流）中组合多个rdd？

例如-在Spark Streaming中，我有以下形式的传入数据-{

"id": xx,

"a" : 1,

"b" : 2,

"c" : 3,

"d" : 4,

"scores"{

"score1" : "",

"score2" : "",

"score3" : ""

}

}

处理它的管道如下-

^{pr2}$

因为我所有的RDD都是串行创建的，所以我理解通过将process函数修改为-def process(rdd):

rdd1 = rdd.map(func1)

rdd2 = rdd.map(func2)

rdd3 = rdd.map(func3)

rdd4 = #combine rdd1, rdd2 rdd3

rdd3.foreachPartition(publish)

我有两个问题-这个新订单创建的地图的DAG允许MIMD吗

(多指令多数据集)无显式

多线程？在

在这种情况下，如何组合多个RDD？我熟悉zip和map来组合具有相同行数的两个数据帧，但是

如何组合嵌套json的RDD？在

示例-组合这类值的3个RDD。-在{

"id": xx,

"a" : 1,

"b" : 2,

"c" : 3,

"d" : 4,

"scores"{

"score1" : "3",

"score2" : "",

"score3" : ""

}

}

{

"id": xx,

"a" : 1,

"b" : 2,

"c" : 3,

"d" : 4,

"scores"{

"score1" : "",

"score2" : "5",

"score3" : ""

}

}

{

"id": xx,

"a" : 1,

"b" : 2,

"c" : 3,

"d" : 4,

"scores"{

"score1" : "",

"score2" : "",

"score3" : "7"

}

}

在这样一排排的rdd中-{

"id": xx,

"a" : 1,

"b" : 2,

"c" : 3,

"d" : 4,

"scores"{

"score1" : "2",

"score2" : "5",

"score3" : "7"

}

}

谢谢！在