本文详细介绍了如何在多节点环境中安装Spark 2.4.0，包括Scala的解压复制、Spark的解压、环境变量配置、`spark-env.sh`文件设置、`slaves`文件配置、目录同步、启动Spark以及验证安装成功的过程。在secureCRT中使用`spark-shell`时遇到的命令行编辑问题也进行了说明。
spark2.4.0安装
安装步骤
本文是spark2.4.0基于scala2.10.6的spark安装！
spark下载链接：http://mirrors.shu.edu.cn/apache/
scala下载链接：https://www.scala-lang.org/download/2.10.6.html
scala解压复制到所有节点
[hadoop@master ~]$ tar -zxvf scala-2.10.6.tgz
[hadoop@master ~]$ scp -r /home/hadoop/scala-2.10.6/ slave01:/home/hadoop/
[hadoop@master ~]$ scp -r /home/hadoop/scala-2.10.6/ slave02:/home/hadoop/
spark解压
[hadoop@master ~]$ tar -zxvf spark-2.4.0-bin-hadoop2.6.tgz
更改spark名字（个人习惯）
[hadoop@master ~]$ mv spark-2.4.0-bin-hadoop2.6 spark-2.4.0
最低0.47元/天 解锁文章
3375
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
