mac本地搭建Spark

博主建议初学者在本地安装Spark以方便测试和学习。本文介绍了如何在Mac上简单快捷地安装Spark,包括安装JDK、Scala,从Apache官网下载Spark安装包,配置环境变量,启用远程登录,启动Spark并验证安装成功。
摘要由CSDN通过智能技术生成

博主建议对于初学者本地先搭个spark环境玩玩,搭建非常容易,平时测试一个小demo非常方便。因为服务器一般情况是只有内部网才能进行访问的,有些时候很不方便。后续会介绍如何在生产服务器上搭建不同模式下的Spark集群。

#安装jdk
这个就不详细介绍了,写程序的不会安装jdk那该考虑转行了。网上一搜一大堆。
#安装scala
参考: Mac安装Scala
#安装Spark

官网下载安装包:http://spark.apache.org/downloads.html

选择自己合适的版本下载
这里写图片描述

解压到指定的目录

tar -xzf spark-2.3.1-bin-hadoop2.7.tgz

配置环境变量(Mac是 ~/.bash_profile)

export SPARK_HOME=/Users/liubowen/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=${PATH}:${SPARK_HOME}/bin

source ~/.bash_profile

打开mac远程登录设置

系统偏好设置 => 共享 => 远程登录

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值