qq_37081791的博客

想去除某一属性为特定值或null的那一行思路：1、把你想要筛选的那一列，变为string类型新增一列。2、用fliter()过滤掉这一行例如：我想去除time列中为空，且1970年的行：新增time_string，类型为string：t=t.withColumn('time_string',t['time'].cast('String'))过滤：t = t.filter(t['time_string']!='null')t = t.filter(t['time_string']!=