在数据导入中用到了udf自定义函数,写方法的过程中因为java习惯写了return语句,导致task无法序列化,无法由driver传入excutor。
fastjson解析json数组,spark可以用flatmap做hive中的explode
2020-03-25 spark问题总结
最新推荐文章于 2024-06-18 17:38:20 发布
在数据导入中用到了udf自定义函数,写方法的过程中因为java习惯写了return语句,导致task无法序列化,无法由driver传入excutor。
fastjson解析json数组,spark可以用flatmap做hive中的explode