单机部署spark环境

最近需要搭建单机版sprak环境,分享一下:

1.首先准备软件包

下载地址:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

2.解压到对应目录后,修改配置文件(前提Java已经安装过了)

解压的Linux命令:tar   -zxvf  spark-2.4.3-bin-hadoop2.7.tgz

3.配置环境变量

a.进入到解压的目录,找到conf文件夹 slaves.template 去掉templat后缀,为slaves,进入slaves末尾添加localhost保存

或者copy一份也是可以的  cp  slaves.template slaves

修改内容为:

b.  spark-env.sh.template  去掉template后缀为 spark-env.sh进入spark-env.sh                           ,

export JAVA_HOME=/home/software/soft/jdk1.8.0_11 (改为自己本机地址)
#export SCALA_HOME=/usr/local/scala/scala-2.11.8
export HADOOP_HOME=/home/software/soft/hadoop-2.7.0
export HADOOP_CONF_DIR=/home/software/soft/hadoop-2.7.0/etc/hadoop
export YARN_CONF_DIR=/home/software/soft/hadoop-2.7.0/etc/hadoop
export SPARK_MASTER_IP=hadoop2
export SPARK_LOCAL_IP=192.168.183.162
export SPARK_WORKER_MEMORY=4g
export SPARK_HOME=/home/software/soft/spark-2.4.3-bin-hadoop2.7
export SPARK_LOCAL_DIRS=/home/software/soft/data/spark

 

copy一份spark-env.sh:cp  spark-env.sh.template spark-env.sh

c.修改 /etc/hosts   vi  /etc/hosts添加127.0.0.1  bogon  localhost  (bogon根据主机名更改)

至此spark单机已经安装Ok了,接下来启动一下,检测一下:

sbin/start-all.sh

访问 测试:

Ok,至此轻松搞定

如果需要集群的话,和hadoop类似,把文件copy过去,在slaves加入对应的worker就可以了

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alex_81D

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值