pandas的DataFrame转spark时空值问题

pandas生成DataFrame时，Series为数值类型则会把空值视为NaN。而spark在处理NaN时并不视为Null，有可能会导致问题。例如：

>>> pdf = pd.DataFrame([(0,‘Alice’,1.1),(1,‘Bob’,None),(2,None,3.3)], columns=(‘id’,‘name’,‘score’))
>>> sdf = spark.createDataFrame(pdf)
>>> sdf.show()
±–±----±----+
| id| name|score|
±–±----±----+
| 0|Alice| 1.1|
| 1| Bob| NaN|
| 2| null| 3.3|
±–±----±----+
>>> sdf.selectExpr(‘MAX(name)’,‘MAX(score)’).show()
±--------±---------+
|max(name)|max(score)|
±--------±---------+
| Bob| NaN|
±--------±---------+

MAX(name)是Bob符合预期；MAX(score)是NaN，而我们希望是3.3。为此需要将pandas中的NaN替换掉，即numpy.nan替换成None：

>>> import numpy as np
>>> sdf = spark.createDataFrame(pdf.replace({np.nan:None}))
>>> sdf.selectExpr(‘MAX(name)’,‘MAX(score)’).show()
±--------±---------+
|max(name)|max(score)|
±--------±---------+
| Bob| 3.3|
±--------±---------+