python新建一个类有map成员_python – pyspark：从现有列创建MapType列

我需要根据现有列爬行新的Spark DF MapType列,其中列名是键,值是值.

作为例子 – 我有这个DF：

rdd = sc.parallelize([('123k', 1.3, 6.3, 7.6),

('d23d', 1.5, 2.0, 2.2),

('as3d', 2.2, 4.3, 9.0)

])

schema = StructType([StructField('key', StringType(), True),

StructField('metric1', FloatType(), True),

StructField('metric2', FloatType(), True),

StructField('metric3', FloatType(), True)])

df = sqlContext.createDataFrame(rdd, schema)

+----+-------+-------+-------+

| key|metric1|metric2|metric3|

+----+-------+-------+-------+

|123k| 1.3| 6.3| 7.6|

|d23d| 1.5| 2.0| 2.2|

|as3d| 2.2| 4.3| 9.0|

+----+-------+-------+-------+

我已经到目前为止,我可以从这里创建一个structType：

nameCol = struct([name for name in df.columns if ("metric" in name)]).alias("metric")

df2 = df.select("key", nameCol)

+----+-------------+

| key| metric|

+----+-------------+

|123k|[1.3,6.3,7.6]|

|d23d|[1.5,2.0,2.2]|

|as3d|[2.2,4.3,9.0]|

+----+-------------+

但我需要的是一个带有MapType的度量列,其中键是列名：

+----+-------------------------+

| key| metric|

+----+-------------------------+

|123k|Map(metric1 -> 1.3, me...|

|d23d|Map(metric1 -> 1.5, me...|

|as3d|Map(metric1 -> 2.2, me...|

+----+-------------------------+

如何提示我如何转换数据？

谢谢！