Hadoop集群搭建（八）：安装Spark

1，安装scala：将下载好的scala安装包解压到指定的目录下：这里我解压到的/root目录下

命令：[root@hadoop1 ~]# tar -xvf scala-2.10.5.tgz

      

      

2，安装Spark：将下载好的spark安装包解压到指定目录下：这里我解压到的/root目录下

   

    命令：[root@hadoop1 ~]# tar -xvf spark-1.6.0-bin-hadoop2.6.tgz

      

 

3，配置环境变量:

       在/etc/profile文件里添加以下内容：

       文件内容：      

export SCALA_HOME=/root/scala-2.10.5
export SPARK_HOME=/root/spark-1.6.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin:$MAVEN_HOME/bin

      

 

4，使/etc/profile文件生效：

     

  命令：[root@hadoop1 ~]# source /etc/profile

 

 

 

5，配置Spark：修改/root/spark-1.6.0-bin-hadoop2.6/conf下的配置文件（如果conf没有这个文件，将spark-env.sh.template文件拷贝一份命名为spark-env.sh即可）

      

命令：[root@hadoop1 conf]# cp spark-env.sh.template spark-env.sh

      

       更改配置信息：

       更改内容为：  

export SPARK_HOME=/root/spark-1.6.0-bin-hadoop2.6
export HADOOP_CONF_DIR=/root/hadoop-2.6.0-cdh5.10.1/etc/hadoop
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/root/scala-2.10.5
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1

   

      

      

6，配置slaves节点

       ，将节点信息添加上去：

      

 

 

7，在全部节点上都做同样的配置（可以直接拷贝）

       将目录直接发送到另外两个节点上：      

[root@hadoop1 ~]# scp -r  scala-2.10.5 hadoop2:/root/
[root@hadoop1 ~]# scp -r  scala-2.10.5 hadoop3:/root/
[root@hadoop1 ~]# scp -r spark-1.6.0-bin-hadoop2.6 hadoop2:/root/
[root@hadoop1 ~]# scp -r spark-1.6.0-bin-hadoop2.6 hadoop3:/root/   

 

 

 

 

8，启动spark服务：（进入/root/spark-1.6.0-bin-hadoop2.6/sbin/目录下执行命令即可）       在hadoop1上执行命令：

[root@hadoop1 sbin]# ./start-all.sh

      

      

9，集群启动成功后会多一个worker进程：

       Hadoop1：

      

 

       Hadoop2：hadoop集群2上多了一个worker进程

      

       Hadoop3：hadoop3集群2上多了一个worker进程

      

 

 

 

10，查看Spark是否配置成功：

       命令行启动spark-shell进程：进入spark目录的bin目录下，执行spark-shell进程：

     

  命令：[root@hadoop1 bin]# ./spark-shell

      

       或者打开浏览器输入：http://hadoop1:8080/，如果能打开，我们配置的spark就会显示在页面上