Mac 搭建spark开发环境

本文详细介绍了如何在本地环境中安装并配置Java、Scala和Spark。首先通过官方渠道下载JDK,按照步骤完成安装,并验证其正确安装。接着,提供Scala的下载链接,指导读者解压并配置环境变量。最后,深入解析Spark的安装过程,包括解压、环境配置及启动等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.安装jdk
jdk下载地址这里写图片描述
然后一步一步安装jdk就可以了。
检测jdk是否安装成功:
java -version
这里写图片描述

2.安装scala
Scala下载地址
解压Scala包
配置.bash_profile 文件,没有就重建一个
这里写图片描述
export SCALA_HOME=你自己的scala的安装目录/scala-2.12.2/
export PATH= PATH: SCALA_HOME/bin

3.安装spark
spark下载目录
这里写图片描述
a.解压spark包

b.配置.bash_profile 文件
export SPARK_HOME=spark 安装目录/spark-2.1.1-bin-hadoop2.7/:
export PATH= PATH: SPARK_HOME/bin

c.打开系统设置中–>共享—> 远程登陆

d.查看用户目录是否有.ssh/,没有就重新生成
这里写图片描述

e.进入到spark安装目录的sbin/目录下,执行 ./start-all 启动spark
执行jps 命令
这里写图片描述

f.进入到spark安装目录的bin/目录下,执行 ./spark-shell,看spark 是否安装成功

这里写图片描述
如果出现这个,说明spark安装成功

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值