python用均值填充空值_python-用同一列的平均值填充Pyspark数据框列的空值

有了这样的数据框

rdd_2 = sc.parallelize([(0,10,223,"201601"), (0,10,83,"2016032"),(1,20,None,"201602"),(1,20,3003,"201601"), (1,20,None,"201603"), (2,40, 2321,"201601"), (2,30, 10,"201602"),(2,61, None,"201601")])

df_data = sqlContext.createDataFrame(rdd_2, ["id", "type", "cost", "date"])

df_data.show()

+---+----+----+-------+

| id|type|cost| date|

+---+----+----+-------+

| 0| 10| 223| 201601|

| 0| 10| 83|2016032|

| 1| 20|null| 201602|

| 1| 20|3003| 201601|

| 1| 20|null| 201603|

| 2| 40|2321| 201601|

| 2| 30| 10| 201602|

| 2| 61|null| 201601|

+---+----+----+-------+

我需要用现有值的平均值填充空值,预期结果是

+---+----+----+-------+

| id|type|cost| date|

+---+----+----+-------+

| 0| 10| 223| 201601|

| 0| 10| 83|2016032|

| 1| 20|1128| 201602|

| 1| 20|3003| 201601|

| 1| 20|1128| 201603|

| 2| 40|2321| 201601|

| 2| 30| 10| 201602|

| 2| 61|1128| 201601|

+---+----+----+-------+

其中1128是现有值的平均值.我需要针对几列进行此操作.

我当前的方法是使用na.fill：

fill_values = {column: df_data.agg({column:"mean"}).flatMap(list).collect()[0] for column in df_data.columns if column not in ['date','id']}

df_data = df_data.na.fill(fill_values)

+---+----+----+-------+

| id|type|cost| date|

+---+----+----+-------+

| 0| 10| 223| 201601|

| 0| 10| 83|2016032|

| 1| 20|1128| 201602|

| 1| 20|3003| 201601|

| 1| 20|1128| 201603|

| 2| 40|2321| 201601|

| 2| 30| 10| 201602|

| 2| 61|1128| 201601|

+---+----+----+-------+

但这非常麻烦.有任何想法吗？

解决方法:

好吧,您必须采用一种或另一种方式：

>计算统计

>填补空白

它仍然在很大程度上限制了您在这里可以真正改善的地方：

>用first()[0]替换flatMap(list).collect()[0]或结构解压缩

>一次执行即可计算所有统计信息

>使用内置的Row方法提取字典

最终结果可能是这样的：

def fill_with_mean(df, exclude=set()):

stats = df.agg(*(

avg(c).alias(c) for c in df.columns if c not in exclude

))

return df.na.fill(stats.first().asDict())

fill_with_mean(df_data, ["id", "date"])

标签：pyspark-sql,python,apache-spark,pyspark,apache-spark-sql

来源： https://codeday.me/bug/20191010/1888000.html