6 Spark集群搭建

Spark集群搭建

Spark安装

• 下载Spark-bin-hadoop
• 将下载的Spark-bin-hadoop包解压缩到/usr/local文件夹下
• 修改Spark-bin-hadoop文件夹名字为spark
• 配置环境变量

vi .bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source .bashrc

配置Spark

• 修改spark-env.sh

cd /usr/local/spark/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh

export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=192.168.75.111
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

• 修改slaves文件

spark1
spark2
spark3

安装Spark集群

• 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。

启动Spark集群

• 在spark目录下的sbin目录
• 执行./start-all.sh
• 使用jsp和8080端口可以检查集群是否启动成功
• 进入spark-shell查看是否正常