16、Spark核心编程之Spark 1.3.0集群搭建

安装Scala

1. 将scala-2.11.8.tgz 上传到/opt/software目录下
2. 解压缩 tar -zxvf scala-2.11.8.tgz -C /opt/module/
3. 更改目录名字 mv scala-2.11.8/ scala
4. 设置环境变量，编辑/etc/profile文件

# SCALA_HOME
export SCALA_HOME=/opt/module/scala
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

安装Spark包

1. 将spark-1.3.0-bin-hadoop2.4.tgz 上传到/opt/software目录下
2. 解压缩 tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz -C /opt/module/
3. 更改目录名字 mv spark-1.3.0-bin-hadoop2.4/ spark
4. 设置环境变量 编辑/etc/profile文件

# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/profile

修改spark-env.sh文件

1. cd /opt/module/spark/conf/
2. cp spark-env.sh.template spark-env.sh
3. 编辑spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_181
export SCALA_HOME=/opt/module/scala
export SPARK_MASTER_IP=192.168.114.100
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/opt/module/hadoop-2.8.3/etc/hadoop

修改slaves文件

1. cp slaves.template slaves
2. 编辑slaves

hadoop-101
hadoop-102

复制到其他机器

xsync /etc/profile
xsync spark/
xsync scala/

启动Spark集群

1. 在spark目录下的sbin目录
2. 执行./start-all.sh
3. 使用jsp和8080端口可以检查集群是否启动成功
4. 进入spark-shell查看是否正常