java list 多列_如何按多列分组并在PySpark中列表？

这可能会完成你的工作(或者给你一些进一步的想法)......

一个想法是将 col4 转换为原始数据类型，即字符串：

from pyspark.sql.functions import collect_list

import pandas as pd

a = [[u'PNR1',u'TKT1',u'TEST',u'a2',u'a3'],[u'PNR1',u'TKT1',u'TEST',u'a5',u'a6'],[u'PNR1',u'TKT1',u'TEST',u'a8',u'a9']]

rdd = sc.parallelize(a)

df = rdd.map(lambda x: (x[0],x[1],x[2], '(' + ' '.join(str(e) for e in x[3:]) + ')')).toDF(["col1","col2","col3","col4"])

df.groupBy("col1","col2","col3").agg(collect_list("col4")).toPandas().values.tolist()[0]

#[u'PNR1', u'TKT1', u'TEST', [u'(a2 a3)', u'(a5 a6)', u'(a8 a9)']]

UPDATE (在你自己的答案之后)：

我真的认为我已经达到的目的足以根据你的需要进一步调整它，而且我现在没有时间自己做这件事;所以，这里是(在修改我的 df 定义以摆脱括号后，它只是一个列表理解的问题)：

df = rdd.map(lambda x: (x[0],x[1],x[2], ' '.join(str(e) for e in x[3:]))).toDF(["col1","col2","col3","col4"])

# temp list:

ff = df.groupBy("col1","col2","col3").agg(collect_list("col4")).toPandas().values.tolist()[0]

ff

# [u'PNR1', u'TKT1', u'TEST', [u'a2 a3', u'a5 a6', u'a8 a9']]

# final list of lists:

ll = ff[:-1] + [[x.split(' ') for x in ff[-1]]]

ll

这给出了您最初请求的结果：

[u'PNR1', u'TKT1', u'TEST', [[u'a2', u'a3'], [u'a5', u'a6'], [u'a8', u'a9']]] # requested output

与您自己的答案中提供的方法相比，这种方法有一定的道理性：

它避免了Pyspark UDF，这是known to be slow

所有处理都在最终(并且希望小得多)聚合数据中完成，而不是在初始(可能更大)的数据中添加和删除列并执行映射函数和UDF