![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Onlý。
这个作者很懒,什么都没留下…
展开
-
Spark提交任务时, 版本问题报错
问题一: 提交任务到集群时报错 java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror 此异常有可能是以下的情况造成的 1.编译环境的 scala版本和集群上的scala版本不一致 -- 进入spark-shell可以查看控制台输出的scala版本 spark的版本和scala的版本查看下面 2....原创 2019-02-26 17:58:33 · 772 阅读 · 0 评论 -
Spark 在Windows环境下编译
1.环境准备 1.jdk1.8 2.maven 3.5 3.scala 2.11.8 - 编译时无需安装 4.hadoop 2.7.6 - 编译时无需安装 5.下载spark 2.2.3 源码 -- 是源码不是预编译后的可运行包 2.开始编译 2.1 进入 git bash 如果是安装了 sourceTree 的同学, 打开SourceTree通过下图方式打开 git bash 3.解压...原创 2019-02-27 11:32:43 · 706 阅读 · 0 评论