spark对空值的处理
方法:
dff.show()
val map = Map("age"->30l)
dff.na.fill(map).show()
对指定的列进行空值填充
这是原本的打印信息:
±—±------+
| age| name|
±—±------+
|null|Michael|
| 30| Andy|
| 19| Justin|
±—±------+
这是填充后的打印信息:
±–±------+
|age| name|
±–±------+
| 30|Michael|
| 30| Andy|
| 19| Justin|
±–±------+
注意的是:对指定的列进行填充需要注意Schema类型是否匹配,如果不匹配则没有效果。