spark集群搭建

Spark集群需要的软件

spark下载地址：https://dist.apache.org/repos/dist/release/spark/

 

apache所有开源的下载地址：

https://dist.apache.org/repos/dist/release/

 

安装Scala

下载地址：http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

 

安装软件

 

安装Scala

下载地址：http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz

 

解压文件到　/usr/lib/scala

 

修改环境变量~/.bashrc

 

exportSCALA_HOME=/usr/lib/scala/scala-2.11.8

 

PATH 增加 :${SCALA_HOME}/bin

 

source ~/.bashrc

 

测试环境变量：

 

scala -version

 

测试：输入命令：

scala

>9*9

 

其它两台机器可以拷贝．

 

安装Spark

解压spark到/usr/local/spark

 

配置环境变量：

exportSPARK_HOME=/usr/local/spark/spark-1.6.1-bin-hadoop2.6

 

PATH增加 :${SPARK_HOME}/bin

 

source  ~/.bashrc

 

配置Spark

spark的conf目录：

cp spark-env.sh.template spark-env.sh

 

spark-env.sh配置文件中增加如下信息：

export  JAVA_HOME=/usr/lib/java/jdk1.7

export  SCALA_HOME=/usr/lib/scala/scala-2.11.8

export  SPARK_MASTER_IP=192.168.222.143

export  SPARK_WORKER_MEMORY=2g

export  HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

 

cp slaves.template  slaves

修改Spark的conf下的slaves文件，类似hadoop的slaves

Master

Slave1

Slave2

 

拷文件到其它节点：

 

Slave节点完全一样，拷贝过去，注意路径．

 

root@Master:/# scp  -r /usr/lib/scala  Slave2:/usr/lib

scala.1                                                             100%8607     8.4KB/s   00:00   

scalap.1                                                            100%3570     3.5KB/s   00:00

 

root@Master:/# scp  -r /usr/local/spark Slave1:/usr/local/

spark-assembly-1.6.1-hadoop2.6.0.jar                                   100% 179MB   3.4MB/s   00:53   

spark-examples-1.6.1-hadoop2.6.0.jar                                   100%  113MB  1.0MB/s   01:56

 

 

 

启动并查看集群的状况

 

启动hadoop集群：

root@Master:/usr/local/spark/spark-1.6.1-bin-hadoop2.6/sbin#./start-all.sh

 启动spark集群：

root@Master:/usr/local/spark/spark-1.6.1-bin-hadoop2.6/sbin#jps

7963 Worker

5071 NameNode

7736 Master

7995 Jps

5289 DataNode

5595 SecondaryNameNode

5958 NodeManager

5734 ResourceManager

 

多了两个进程．

spark集群的web查看：

部分文字被博客转义了，有需要可以进QQ群讨论一起学习：208881891

下一节，搭建spark开发环境