HADOOP SPARK 集群环境搭建

目标：

在已经存在的4个节点的hadoop 2.6集群上基础上，搭建spark集群。
4个机器分别为： master、slave1、slave2、slave3

1、资源下载

根据要求，SCALA要2.11.x。

SCALA下载: http://scala-lang.org/download/2.11.8.html
SPARK下载: http://spark.apache.org/downloads.html

2、解压安装文件

下载完后的文件：解压到/usr/local/ 目录下。

scala-2.11.8.tgz

spark-2.0.0-bin-hadoop2.6.tgz

tar -zxvf scala-2.11.8.tgz 

mv scala-2.11.8 /usr/local/

tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz

mv spark-2.0.0-bin-hadoop2.6  /usr/local/

3、SCALA、SPARK配置

scala官网配置介绍

spark官网配置介绍

配置清单：

1、profile增加环境变量 (/etc/profile)

export JAVA_HOME=/usr/local/jdk1.7.0_67

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-2.6.0

export PATH=$PATH:$HADOOP_HOME/bin

export SCALA_HOME=/usr/local/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

2、slave (/usr/local/spark-2.0.0-bin-hadoop2.6/conf/slave )

slave1

slave2

slave3

3、spark-env.sh (/usr/local/spark-2.0.0-bin-hadoop2.6/conf/spark-env.sh  )

export JAVA_HOME=/usr/local/jdk1.7.0_67

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_MASTER_HOST=master

export SPARK_WORKER_MEMORY=512m

4、启动集群

sbin/start-all.sh

启动后通过jps命令查看进程有没有启动。
可以看到Master、Worker进程则启动成功

5、测试集群

cd 到example/jar目录下。 运行样例任务。

../../bin/spark-submit --class org.apache.spark.examples.SparkPi     --master yarn     --deploy-mode cluster       spark-examples*.jar     10

看能看到输出了pi的值。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30066956/viewspace-2123915/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30066956/viewspace-2123915/