python 平均值代替缺失值_Pyspark数据帧估算——根据指定条件用列平均值替换未知值和缺失值...

给定一个Spark数据帧，我想根据该列的非缺失值和非未知值计算一个列的平均值。然后，我想采用这个平均值，并用它替换列缺少的未知值。

例如，假设我使用的是：名为df的数据帧，其中每条记录代表一个单独的记录，所有列都是整数或数字

名为age的列(每条记录的age)

名为missing_age的列(如果该个人没有年龄，则等于1，否则为0)

名为unknown_age的列(如果该个人的年龄未知，则等于1，否则为0)

然后我可以计算这个平均值，如下所示。calc_mean = df.where((col("unknown_age") == 0) & (col("missing_age") == 0))

.agg(avg(col("age")))

或者通过SQL和windows函数mean_compute = hiveContext.sql("select avg(age) over() as mean from df

where missing_age = 0 and unknown_age = 0")

如果可以的话，我不想使用SQL/windows函数。我的挑战是采用这种方法，并使用非SQL方法替换未知/缺少的值。

我试过使用when()、where()、replace()、with column、udf和组合。。。不管我做什么，我要么会犯错，要么结果不是我所期望的。这里有一个例子，我试过的很多事情中有一个没有用。imputed = df.when((col("unknown_age") == 1) | (col("