spark本地开发环境搭建

最新推荐文章于 2023-05-18 10:22:54 发布

qq_39425845

最新推荐文章于 2023-05-18 10:22:54 发布

阅读量220

点赞数

分类专栏： spark 文章标签： spark开发环境

本文链接：https://blog.csdn.net/qq_39425845/article/details/80118676

版权

spark 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1、开发工具idea下载
https://www.jetbrains.com/idea/download/#section=windows
2、scala插件下载
http://plugins.jetbrains.com/files/1347/43504/scala-intellij-bin-2018.1.3.zip?updateId=43504&pluginId=1347
3、spark-2.2.1源码(http://spark.apache.org/downloads.html)
https://www.apache.org/dyn/closer.lua/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz
4 、本地环境运行问题
1)Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.
下载hadoop：https://codeload.github.com/amihalik/hadoop-common-2.6.0-bin/zip/master
添加环境变量HADOOP_HOME：E:\soft\ide\hadoop-common-2.6.0-bin-master
正常获取winutils.exe文件
E:\soft\ide\hadoop-common-2.6.0-bin-master\bin\winutils.exe