Mac安装Spark

最新推荐文章于 2024-08-06 15:55:15 发布

Evankaka

最新推荐文章于 2024-08-06 15:55:15 发布

阅读量4.5k

点赞数 2

分类专栏： Spark技术研究

本文链接：https://blog.csdn.net/Evankaka/article/details/78319423

版权

本文详细介绍了如何在Mac操作系统上安装Scala和Spark。首先，通过下载并配置环境变量来安装Scala，验证安装成功后，再从Apache官网下载Spark进行解压和启动。通过浏览器验证Spark Master已启动，并运行实例，最后讲解了如何结束Spark任务和停止Spark服务。

摘要由CSDN通过智能技术生成

一、安装scala
1、下载taz包
进入http://www.scala-lang.org/download/
下载后解压

2.配置环境变量

Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。
/etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个）

.bash_profile 文件的路径是在当前用户下。

vim ~/.bash_profile

//添加如下信息
export SCALA_HOME=/usr/local/share/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin

3.检验结果

在终端输入scala 命令，进入scala解释器，然后输入1＋2，查看计算结果。

如下图说明安装成功：
输入
:q
或
:quit

二、安装spark

要本地安装spark不必要用到scala！要本地安装spark不必要用到scala！要本地安装spark不必要用到scala！要本地安装spark不必要用到scala！

1、下载
http://spark.apache.org/downloads.html
笔者下载的是spark-2.2.0-bin-hadoop2.7.tgz

2、解压
tar -xvzf spark-2.2.0-bin-hadoop2.7.tgz
3、启动
cd /usr/local/share/spark-2.2.0-bin-hadoop2.7/sbin
sh