spark
黑旋风李鬼
这个作者很懒,什么都没留下…
展开
-
spark-submit 报 NoClassDefFoundError 解决
报错信息在使用 spark-submit 提交 scala App 的时候,报出了一下异常,而 代码就简单的调用了一下 map() 方法:Exception in thread "main" java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction1$mcII$...原创 2019-04-25 17:06:12 · 1754 阅读 · 0 评论 -
IDEA spark程序本地调试
准备:linux spark2.1.1 集群linux hadoop-2.7.7集群windows hadoop-2.7.7环境windows scala-2.11.8WordCount.scalapackage com.zuo.sparkimport org.apache.spark.{SparkConf, SparkContext}import org.slf4j.L...原创 2019-04-25 17:17:43 · 3089 阅读 · 1 评论 -
idea 关联spark源码
问题: 点进源码,晦涩难懂,没有注释,点击右上角Download无法下载源码解决:点 Attach Souces,看它用的是哪个jar包,然后到maven公共仓库去寻找这个jar包的源码,下载到本地,通过Attach Souces进行关联...原创 2019-05-06 19:59:27 · 869 阅读 · 0 评论