Spark的对象不可序列化(object not serializable)的一个解决方案
最近在公司开发了一个新项目。这个项目要求人工去编写配置文件,然后根据配置文件配置的函数去处理数据。学到的隐式转换终于排上用场了。假设这些函数就是对比两个Set内容,然后得到这俩Set的相关得分。如下,然后分别实现这些函数即可。object ScoreFunction{ implicit class FunctionGetterFaster(val functionConf:...
原创
2019-01-14 16:08:25 ·
9403 阅读 ·
2 评论