pyspark中dataframe缺失值填充

在工作中我们经常面对各种缺失值的处理，当使用pandas，缺失值可以使用fillna，指定method=ffill或bfill就能实现
缺失值的前向或后向填充。但是在spark应用中，需要稍微做一些改变。比如说我们先创建一个DataFrame：

df = spark.createDataFrame(
	[("a", 1, '2019-06-15 13:20'),
	("a",2, None),("a",3, None),
	("a",4, '2019-06-15 13:40'),
	("a",5, '2019-06-15 14:40'),
	("a",6, None),
	("b",1, '2019-06-15 13:42'),
	("b",2, None),
	("b",3, None)], 
	["id","num", "time"]
)
df.show()

+---+---+---------------