【大数据】Spark
IT码客
明日复明日,明日何其多,以此博文来约束自己,多学习,多总结。如不巧能帮助他人,实属本人之荣幸。
展开
-
【Spark】Task not serializable exception while running apache spark job
文章目录1、概述2、问题重现3、问题分析4、解决方法4.1、仅在map中传递lambda函数中声明实例4.2、将方法封装为高阶函数4.3、使未序列化的类继承 java.io.Serializable 接口4.4、注册序列化类(适用第三方包)5、避免序列化问题的经验1、概述在使用spark编写分布式数据计算作业的过程中,我遇到了很多问题,今天跟大家分享一个 spark 作业序列化的问题,我们看一...原创 2019-10-15 17:41:56 · 422 阅读 · 0 评论 -
Spark 源码编译遇到的那些事儿
1、编译环境Windows 7JDK 1.8Scala-2.12.4Maven-3.6.0Spark-2.3.0spark源码下载地址:https://github.com/apache/spark2、遇到的问题2.1、直接在源码根目录编译报以下错误mvn -DskipTests clean package[ERROR] Failed to execute goal org...原创 2019-02-21 17:56:17 · 1125 阅读 · 0 评论