spark 安装单机版和集群

本文介绍安装mac单机版的spark，和spark 集群安装 分以下步骤

• 安装scala
• 下载spark 压缩包并解压
• 修改spark的配置文件
• 配置环境变量
• 验证安装情况
  

  ---

安装Scala

mac安装scala教程

---

下载spark压缩包并解压

到官网下载spark的安装包（我用的是spark-2.0.1-bin-hadoop2.7.tgz）

http://mirror.bit.edu.cn/apache/spark/

进入安装包存放目录，解压安装包

tar -zxvf  spark-2.0.1-bin-hadoop2.7.tgz

解压后进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

操作如下图

---

单机版安装

修改spark的配置文件

修改 spark-env.sh 文件添加信息

vi spark-env.sh
//添加如下信息

export SCALA_HOME=/Users/yangyibo/Software/scala
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home
export SPARK_MASTER_IP=192.168.100.176
export SPARK_WORKER_MEMORY=512m 
export master=spark://192.168.100.176:7070

如下图

---

修改 slaves.template 添加信息

vi slaves.template
//添加如下信息
master

如下图

---

配置环境变量

Mac修改 .bash_profile 文件，此文件是mac 当前用户的环境配置文件。

/etc/profile 是当前系统的环境配置文件（Linux，系统可修改这个）

.bash_profile 文件的路径是在当前用户下。

操作如下：

新打开终端输入命令

vi .bash_profile
//添加如下信息
#SPARK VARIABLES START
export SPARK_HOME=/Users/yangyibo/Software/spark-2.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

如下图，mac 注意路径哦，

---

集群安装

修改slaves

集群安装与单机版安装相同 只是在修改 slaves.template 添加信息

vi slaves.template
//添加work 节点ip如下信息
192.168.100.23
192.168.100.24
192.168.100.25

将配置好的单机版spark复制到work节点上

// 当然节点机器的 scala 和 jdk 的安装配置要和 master 相同
scp -rp /opt/apps/scala-2.11.7 root@work1IP:/opt/apps
scp -rp /opt/apps/jdk/current root@work1IP:/opt/apps
scp -rp /opt/apps/spark-2.2.1 root@work1IP:/opt/apps

验证安装情况

此时就可以检验成果喽

进入安装包的sbin 目录执行 start-all.sh 脚本

./start-all.sh

此时可能会出现这个情况，我们可以直接忽略

此时我们可以通过jps 命令 检验运行情况

打开Spark Master 页面查看集群情况，我相信你会直接点击。

http://localhost:8080/

如图

---

停止spark
进入spark的sbin目录，执行命令

$ ./stop-all.sh

---

如果要给已经启动的spark 集群附加 worker 节点的话 按照集群配置以后 进入sbin 目录以后：
通过start-slave.sh 脚本 启动一个 slave

 sh start-slave.sh spark://192.168.100.xx:7077

接下来就是spark 的小程序了
Spark进阶体验