为了解决数据为空而引起的show()报错,在过滤时使用 !x.isNullAt(1) 判断是否为空,为空就丢弃
//过滤 .getDouble(1) 1指第几个column,从0开始
DF.filter(x => !x.isNullAt(1) && x.getDouble(1) < 1995).show(10)
//过滤 .getDouble(1) 1指第几个column,从0开始
DF.filter(x => !x.isNullAt(1) && x.getDouble(1) < 1995).show(10)