CentOS7 安装Spark

最新推荐文章于 2022-06-07 09:23:24 发布

影丶Joker

最新推荐文章于 2022-06-07 09:23:24 发布

阅读量242

点赞数

分类专栏：创新实训文章标签： linux spark centos

本文链接：https://blog.csdn.net/qq_41035346/article/details/106793258

版权

今天我们继续我们的环境配置参考:http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/https://www.cnblogs.com/phpdragon/p/12594866.html下载Spark包关于版本选择问题可以看下面的几篇文章版本对应关系：https://blog.csdn.net/xx1710/article/details/81198876查看spark的版本对应关系：https://blog.csdn.net/andyg

摘要由CSDN通过智能技术生成

今天我们继续我们的环境配置

参考:

http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/

https://www.cnblogs.com/phpdragon/p/12594866.html

下载Spark包

关于版本选择问题可以看下面的几篇文章

版本对应关系：https://blog.csdn.net/xx1710/article/details/81198876

查看spark的版本对应关系：https://blog.csdn.net/andyguan01_2/article/details/86590952

(简单来说就是下载对应版本源码包，在pom.xml中可以查看)

https://spark.apache.org/docs/2.4.6/hadoop-provided.html

我们这里采用spark 2.4.6，使用集成scala2.12版本的，用户提供hadoop的版本

可以根据个人需要改变

$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.6/spark-2.4.6-bin-without-hadoop-scala-2.12.tgz
$ tar -zxvf spark-2.4.6-bin-without-hadoop-scala-2.12.tgz 
$ sudo mv spark-2.4.6-bin-without-hadoop-scala-2.12 /usr/local/spark-2.4.6
$ sudo chown -R user:user /usr/local/spark-2.4.

最低0.47元/天解锁文章

影丶Joker

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
CentOS7 安装Spark

今天我们继续我们的环境配置参考:http://dblab.xmu.edu.cn/blog/spark-quick-start-guide/https://www.cnblogs.com/phpdragon/p/12594866.html下载Spark包关于版本选择问题可以看下面的几篇文章版本对应关系：https://blog.csdn.net/xx1710/article/details/81198876查看spark的版本对应关系：https://blog.csdn.net/andyg
复制链接

扫一扫