Spark 算子返回NULL

前言

本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见 Spark异常问题汇总

正文

有些场景下并不需要返回具体的值，这时往往会返回 NULL 值，但有时在下一步的 RDD 操作中要求 RDD 的元素不能为 NULL 。

如果是 NULL ，就会抛出异常。

解决方案一

这时可以在返回 NULL 的基础上，在下一步的时候通过 Option 进行模式匹配。

解决方案二

还有一种方法，可以返回一个特定的值，然后在下一步的业务逻辑操作前进行 filter 操作，把该特定的值过滤掉，这样就在无形中化解了 NULL 值的问题。