三步部署Spark 单机版

5 篇文章 0 订阅

1.准备软件包
(1)下载地址:
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
(2)版本:spark-2.4.3-bin-hadoop2.7.tgz
2.上传到自定义位置解压
3.vi /etc/hosts 添加127.0.0.1 bogon localhost (bogon根据主机名更改)

环境变量最好也配置一下 vi /etc/profile
export SPARK_HOME=/home/usr/java/spark-2.3.3-bin-hadoop2.7
export PATH=$PATH:${SPARK_HOME}/bin

4.进入到解压的目录,找到conf文件夹
(1)slaves.template 去掉templat后缀,为slaves,
mv slaves.template slaves
vi slaves
进入slaves 末尾添加localhost 保存
(2)spark-env.sh.template 去掉template后缀 为 spark-env.sh
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
进入spark-env.sh 在末尾添加如下,保存退出

export JAVA_HOME=/home/usr/java/jdk1.8.0_11		==改为自己本机地址==
export SPARK_MASTER_HOST=192.168.XXX.XXX	==改为自己本机的ip==
export SPARK_MASTER_POST=7077

5.运行解压目录下sbin文件下start-all.sh
sbin/start-all.sh
6.效果图如下展示,即单机版完成

1. 修改slaves 添加localhost

在这里插入图片描述

2. 修改spark-env.sh

在这里插入图片描述

==3.==修改 /etc/hosts

在这里插入图片描述

搞定

在这里插入图片描述

页面
在这里插入图片描述

详细步骤前面的文章都有
ssh localhost 报错:https://blog.csdn.net/weixin_44385419/article/details/100073500
spark 搭建详细步骤:https://blog.csdn.net/weixin_44385419/article/details/96603221

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值