Spark集群搭建

1.1下载spark安装包

下载地址spark官网：http://spark.apache.org/downloads.html

这里我们使用spark-2.0.2-bin-hadoop2.7版本.3.2规划安装目录

/opt/bigdata

1.3解压安装包

tar-zxvf spark-2.0.2-bin-hadoop2.7.tgz

1.4重命名目录

mv spark-2.0.2-bin-hadoop2.7 spark

1.5修改配置文件

/opt/bigdata/spark/conf
配置文件目录在/opt/bigdata/spark/conf

vi spark-env.sh修改文件(先把spark-env.sh.template重命名

为spark-env.sh)

mv spark-env.sh.template spark-env.sh

#配置java环境变量

export JAVA_HOME=/opt/bigdata/jdk1.7.0_67

#指定spark老大Master的IP

export SPARK_MASTER_HOST=hdp-node-01

#指定spark老大Master的端口

export SPARK_MASTER_PORT=7077

vi slaves修改文件(先把slaves.template重命名为slaves) mv slaves.template slaves

hdp-node-02

hdp-node-03

1.6拷贝配置到其他主机

通过scp命令将spark的安装目录拷贝到其他机器上

scp-r/opt/bigdata/spark hdp-node-02:/opt/bigdata

scp-r/opt/bigdata/spark hdp-node-03:/opt/bigdata

1.7配置spark环境变量

将spark添加到环境变量,添加以下内容到/etc/profile

export SPARK_HOME=/opt/bigdata/spark

export PATH=$PATH:$SPARK_HOME/bin

注意最后source /etc/profile刷新配置

1.7启动spark

#在主节点上启动spark

/opt/bigdata/spark/sbin/start-all.sh

1.8停止spark

#在主节点上停止spark集群

/opt/bigdata/spark/sbin/stop-all.sh

1.9 spark的web界面

正常启动spark集群后，可以通过访问http://hdp-node-01:8080,查看spark的web界面，

查看相关信息。