spark安装笔记

1.配置profile

将spark解压到指定目录

tar -zxf spark-3.1.2.tgz -C /usr/local

在这里插入图片描述

vim /etc/profile
export SPARK_HOME=/usr/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:${SPARK_HOME}/bin

在这里插入图片描述

2.spark-env.sh配置

  • 进入目录spark/conf
cd /usr/local/spark-3.1.2-bin-hadoop3.2/conf
  • 复制spark-env.sh.template 名命为spark-env.sh进行配置
cp -i spark-env.sh.template  spark-env.sh
  • 进入spark-env.sh
vim spark-env.sh
  • 末尾添加代码
export JAVA_HOME=/usr/java/jdk1.8.0_151
export HADOOP_CONF_DIR=/usr/local/spark-3.1.2-bin-hadoop3.2
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=512m 
export SPARK_WORKER_CORES=1 
export SPARK_EXECUTOR_MEMORY=512m 
export SPARK_EXECUTOR_CORES=1 
export SPARK_WORKER_TNSTANCES=1

3.配置workers

在这里插入图片描述

  • 复制workers.template 名命workers进行配置

    cp -i workers.template workers
    

在这里插入图片描述

  • vim 创建workers在本目录下

在这里插入图片描述

4.配置spark-defaults.conf

  • 复制spark-defaults.conf.template名为spark-defaults.conf保存到当前目录
cp -i spark-defaults.conf.template  spark-defaults.conf
  • 进入spark-defaults.conf
vim spark-defaults.conf
:wqspark.master                     spark://master:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master:8020/spark-logs
spark.history.fs.loDirectory     hdfs://master:8020/spark-logs

在这里插入图片描述

拷贝spark

scp -r /usr/local/spark-3.1.2-bin-hadoop3.2 slaver1:/usr/local
scp -r /usr/local/spark-3.1.2-bin-hadoop3.2/ slaver2:/usr/local

启动集群

  • 先启动Hadoop
  • 进入spark的sbin目录
cd usr/local/spark-3.1.2-bin-hadoop3.2/sbin

启动

./start-all.sh 
动Hadoop
- 进入spark的sbin目录

cd usr/local/spark-3.1.2-bin-hadoop3.2/sbin


启动

./start-all.sh

总结:就是我最近搭建环境的详细步骤,仅供参考
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值