本文档详细介绍了在Linux系统，特别是Centos7.x环境下，如何配置和管理Spark服务。通过wget下载安装Spark，然后在/home/bigdata/cluster目录下解压并重命名文件。接着，对slave和spark-env配置文件进行修改以适应系统环境。最后，提供了启动和关闭Spark服务的步骤。
说明：
- 操作系统：Centos7.x
- 虚拟机：VirtualBox
- 工具：FinalShell
步骤：
- wget 安装 sprak
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz
- 进入 /home/bigdata/cluster 下，解压 tgz 文件，并且重命名
tar -xf spark-2.1.1-bin-hadoop2.7.tgz
mv spark-2.1.1-bin-hadoop2.7/ spark
- 修改 slave 配置文件
cd spark/
cd ./conf/
cp slaves.template slaves
vim slaves
# 在配置中将localhost修改为自己的主机名字 我的叫node1
- 修改 spark-env 配置文件
cp ./spark-env.sh.template ./spa
最低0.47元/天 解锁文章
345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
