- 博客(3)
- 资源 (6)
- 收藏
- 关注
原创 Spark 在Windows环境下编译
1.环境准备 1.jdk1.8 2.maven 3.5 3.scala 2.11.8 - 编译时无需安装 4.hadoop 2.7.6 - 编译时无需安装 5.下载spark 2.2.3 源码 -- 是源码不是预编译后的可运行包 2.开始编译 2.1 进入 git bash 如果是安装了 sourceTree 的同学, 打开SourceTree通过下图方式打开 git bash 3.解压...
2019-02-27 11:32:43
706
翻译 执行stop-dfs.sh后无法停止namenodes、datanodes
1. 环境 本文使用Hadoop 2.7.3版本 2. 错误信息 执行stop-dfs.sh后显示以下信息: Stopping namenodes on [master] master: no namenode to stop slave1: no datanode to stop slave2: no datanode to stop slave3: no datanode to stop St...
2019-02-26 22:36:04
1098
原创 Spark提交任务时, 版本问题报错
问题一: 提交任务到集群时报错 java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror 此异常有可能是以下的情况造成的 1.编译环境的 scala版本和集群上的scala版本不一致 -- 进入spark-shell可以查看控制台输出的scala版本 spark的版本和scala的版本查看下面 2....
2019-02-26 17:58:33
772
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人