前言
本文隶属于专栏《Spark异常问题汇总》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见 Spark异常问题汇总
正文
有些场景下并不需要返回具体的值,这时往往会返回 NULL 值,但有时在下一步的 RDD 操作中要求 RDD 的元素不能为 NULL 。
如果是 NULL ,就会抛出异常。
解决方案一
这时可以在返回 NULL 的基础上,在下一步的时候通过 Option 进行模式匹配。
解决方案二
还有一种方法,可以返回一个特定的值,然后在下一步的业务逻辑操作前进行 filter 操作,把该特定的值过滤掉,这样就在无形中化解了 NULL 值的问题。