- 博客(2)
- 收藏
- 关注
原创 Scala学习笔记:已知类型的json变换 -- lift-json
废话不多说啦(也没啥可说的因为我还没搞懂,哈哈哈以下是dependency(用的2.11)和使用的示例代码~~ net.liftweb lift-json_2.11 3.0-M3 import net.liftweb.json._implicit val formats: DefaultFormats
2018-01-14 21:15:12 749
原创 Spark学习笔记:奇怪的Serializable(待填坑~
慢慢摸索了有段时间啦,有个问题一直不是特别懂,就是在执行作业的时候,有时候会抛出task not serializable的异常,就是rdd的map之类的操作时引用了外部的变量。之前也查过很多次了,原因大概理解,task从driver节点分发到子节点计算的时候,会先序列化,子节点收到后反序列化,所以出现异常时有几种解决方案,或者将class extends java.io.Serializab
2018-01-14 21:04:09 647
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人