在算子函数中返回NULL
在有些算子函数里面,是需要我们有一个返回值的,但是,有时候,我们可能对某些值,就是不想返回,我们如果直接返回NULL的话,那么这里是不行的,会报错
Scala.Math(NULL),异常
如果碰到某些值,不想要返回值的时候,有一个解决的办法
1. 在返回的时候,返回一些特殊的值,不要返回null,比如“-999”
2.在通过算子获取到一个RDD后,执行filter操作,进行数据过滤,filter内,可以对数据判定,如果是-999,那么就返回false,给过滤掉,就可以了
3. 在filter后,可以使用coalesce算子压缩一下partition的数量